TPUでも大きなバッチサイズに対して精度を出す
4.2k{icon} {views} TPUでは大きなバッチサイズを適用することが訓練の高速化につながりますが、これは精度と引き換えになることがあります。大きなバッチサイズでも精度を出す方法を論文をもとに調べてみました。 […]...
Affinity LossをCIFAR-10で精度を求めてひたすら頑張った話
9.2k{icon} {views} 不均衡データに対して有効性があると言われている損失関数「Affinity loss」をCIFAR-10で精度を出すためにひたすら頑張った、というひたすら泥臭い話。条件10個試したらや […]...
PCA Color Augmentationを拡張してTensorFlow/Keras向けに実装した
2.9k{icon} {views} PCA Color AugmentationはAlexNetの論文に示された画像向けのData Augmentationですが、画像用だけではなく、テンソルの固有値分解をすることで構 […]...
Google Colaboratoryからファイルを簡単にGoogle Driveへ書き込む方法
36.8k{icon} {views} Google ColaboratoryからGoogle Driveに保存する方法はいくつかあるのですが、最近改良が入って簡単に書き込めるようになっていました。その方法を見ていきます […]...
ColabのTPUでNASNet Largeを訓練しようとして失敗した話
6.2k{icon} {views} ColabのTPUはとてもメモリ容量が大きく、計算が速いのでモデルのパラメーターを多くしてもそこまでメモリオーバーor遅くなりません。ただし、あまりにモデルが深すぎると訓練の初期設定 […]...
Google ColabのTPUでResNetのベンチマークを取ってみた
5.9k{icon} {views} Google ColaboratoryでTPUが使えるようになりましたが、さっそくどのぐらい速いのかベンチマークを取ってみました。以前やったResNetのベンチマークを使います。 環 […]...
BrestCancerデータセットをCNNで分類する
5.2k{icon} {views} 構造化データを畳み込みニューラルネットワーク(CNN)で分析することを考えます。BrestCancerデータセットはScikit-learnに用意されている、乳がんが良性か悪性かの2 […]...
Channelwise Variational AutoEncoder(失敗)
1.8k{icon} {views} Variational Auto Encoder(VAE)を試していて、カラー画像は上手く行かなくてもグレースケール画像ならそこそこうまく行ったので、「じゃあチャンネル単位にVAEか […]...
ResNetをKeras(TensorFlow, MXNet)、Chainer、PyTorchで比較してみる
17.2k{icon} {views} 前からディープラーニングのフレームワークの実行速度について気になっていたので、ResNetを題材として比較してみました。今回比較するのはKeras(TensorFlow、MXNet […]...
Kerasに組み込まれているDenseNet(121/169/201)の実装
4.5k{icon} {views}TL;DR パラメーター数 DenseNet-121 : 8,062,504 DenseNet-169 : 14,307,880 DenseNet-201 : 20,242,984 D […]...