Self-attention GAN（SAGAN）を実装して遊んでみた
前回の投稿では、Spectral Noramlizationを使ったGAN「SNGAN」を実装しましたが、それ […]...
画像分類で比較するBatch Norm, Instance Norm, Spectral Normの勾配の大きさ
GANの安定化のために、Batch Normalizationを置き換えるということがしばしば行われます。その […]...
Spectral Normalization（SNGAN）を実装していろいろ遊んでみた
GANの安定化の大きなブレイクスルーである「Spectral Normalization」をPyTorchで実 […]...
SA-GANの実装から見る画像のSelf attention
自然言語処理でよく使われるSelf-attentionは画像処理においてもたびたび使われることがあります。自然 […]...
PyTorchでweight clipping
WGANの論文見てたらWeight Clippingしていたので、簡単な例を実装して実験してみました。かなり簡 […]...
PyTorchでGANの訓練をするときにrequires_grad（trainable）の変更はいるのかどうか
PyTorchでGANのある実装を見ていたときに、requires_gradの変更している実装を見たことがあり […]...
GANでGeneratorの損失関数をmin(log(1-D))からmaxlog Dにした場合の実験
GANの訓練をうまくいくためのTipとしてよく引用される、How to train GANの中から、Gener […]...
pix2pix HDのCoarse to fineジェネレーターを考える
pix2pix HDの論文を読んでいたら「Coarse to fineジェネレーター」という、低解像度→高解像 […]...
tf.tensordotで行列積を表現するための設定
TensorFlowのtensordotという関数はとても強力で、テンソルに対する行列積に対する計算をだいたい […]...
Pillowでグレースケール化するときに3チャンネルで出力するテクニック
カラー画像をグレースケール化すると1チャンネルの出力になりますが、カラー画像と同時に扱うと整合性からグレースケ […]...