CLIPから見るAttentionの有用性 2023-03-21 5.7k{icon} {views} Attentionはこれまでの研究から多く有用性は報告されていたのですが、ネットワークの内側で使われることが多く、わかりやすく差を体感できる例を自分は知りませんでした。今回はCLIP […]...
論文メモ:Concurrent Spatial and Channel ‘Squeeze & Excitation’ in Fully Convolutional Networks 2019-10-27 5.2k{icon} {views} Squeeze and Excitationの派生形であるsc-SEを提唱している論文。Squeeze & Excitationの派生形と構成がわかりやすくまとまっており、効 […]...
Self-attention GAN(SAGAN)を実装して遊んでみた 2019-09-17 10k{icon} {views} 前回の投稿では、Spectral Noramlizationを使ったGAN「SNGAN」を実装しましたが、それの応用系であるSelf-attention GAN「SAGAN」を実装して […]...
SA-GANの実装から見る画像のSelf attention 2019-08-30 11.2k{icon} {views} 自然言語処理でよく使われるSelf-attentionは画像処理においてもたびたび使われることがあります。自然言語処理のは出てきても、画像のはあまり情報が出てこなかったので、SAG […]...