[論文メモ]Self-Attention Generative Adversarial Networks(SA-GAN)
6k{icon} {views} SA-GAN(Self attention GAN)の論文を読んで実装したので、自分用メモとして書いておきます。 自分がやった実装の記事はこちら Self-attention GAN(S […]...
PyTorchで複数のGPUで訓練するときのSync Batch Normalizationの必要性
14.4k{icon} {views} PyTorchにはSync Batch Normalizationというレイヤーがありますが、これが通常のBatch Normzalitionと何が違うのか具体例を通じて見ていきま […]...
Self-attention GAN(SAGAN)を実装して遊んでみた
9.8k{icon} {views} 前回の投稿では、Spectral Noramlizationを使ったGAN「SNGAN」を実装しましたが、それの応用系であるSelf-attention GAN「SAGAN」を実装し […]...
画像分類で比較するBatch Norm, Instance Norm, Spectral Normの勾配の大きさ
8.8k{icon} {views} GANの安定化のために、Batch Normalizationを置き換えるということがしばしば行われます。その置き換え先として、Spectral Norm、Instance Norm […]...
Spectral Normalization(SNGAN)を実装していろいろ遊んでみた
11.7k{icon} {views} GANの安定化の大きなブレイクスルーである「Spectral Normalization」をPyTorchで実装していろいろ遊んでみました。従来のGANよりも多クラスの出力がかなり […]...