TensorFlow2.0+TPUでData AugmentationしながらCIFAR-10
3.1k{icon} {views} TensorFlow2.0+TPUでData AugmentationしながらCIFAR-10を分類するサンプルです。Data Augmentationはtf.dataでやるのがポイ […]...
PyTorchでSliced Wasserstein Distance (SWD)を実装した
4.2k{icon} {views} PyTorchでSliced Wasserstein Distance (SWD)を実装してみました。オリジナルの実装はNumpyですが、これはPyTorchで実装しているので、GP […]...
Numpyだけで複数の画像をタイルし1つの画像にまとめる方法
7.7k{icon} {views} 「torchvision.utilsのmake_gridやテンソルをタイルして保存するのって便利だよね。でも、いちいちこのためにPyTorchのテンソルに変えるのって面倒だよね」とい […]...
PyTorchでガウシアンピラミッド+ラプラシアンピラミッド(Gaussian/Laplacian Pyramid)
10.8k{icon} {views}Progressive-GANの論文で、SWD(Sliced Wasserstein Distance)が評価指標として出てきたので、その途中で必要になったガウシアンピラミッド、ラプ […]...
PyTorchで双方向連結リストなデータ構造のモデルを作る
1k{icon} {views} ディープラーニングのモデルには、訓練の途中でレイヤーを追加するなど特殊な訓練をするものがあります(Progressive-GANなど)。そのとき、モデルを「レイヤーやブロックの連結リスト […]...
PyTorchで複数のGPUで訓練するときのSync Batch Normalizationの必要性
14.3k{icon} {views} PyTorchにはSync Batch Normalizationというレイヤーがありますが、これが通常のBatch Normzalitionと何が違うのか具体例を通じて見ていきま […]...
Self-attention GAN(SAGAN)を実装して遊んでみた
9.8k{icon} {views} 前回の投稿では、Spectral Noramlizationを使ったGAN「SNGAN」を実装しましたが、それの応用系であるSelf-attention GAN「SAGAN」を実装し […]...
Spectral Normalization(SNGAN)を実装していろいろ遊んでみた
11.6k{icon} {views} GANの安定化の大きなブレイクスルーである「Spectral Normalization」をPyTorchで実装していろいろ遊んでみました。従来のGANよりも多クラスの出力がかなり […]...
SA-GANの実装から見る画像のSelf attention
11.1k{icon} {views} 自然言語処理でよく使われるSelf-attentionは画像処理においてもたびたび使われることがあります。自然言語処理のは出てきても、画像のはあまり情報が出てこなかったので、SAG […]...
PyTorchでweight clipping
3.6k{icon} {views} WGANの論文見てたらWeight Clippingしていたので、簡単な例を実装して実験してみました。かなり簡単にできます。それを見ていきましょう。 Weight Clippingと […]...