KerasのLearningRateSchedulerとPyTorchのLambdaLRの微妙な違い
4.7k{icon} {views} 学習率の調整は大事です。エポック後に学習率を減衰させる際、現在のエポックを引数として更新後の学習率を返す関数を与えると便利なことが多いです。この操作はKeras,PyTorchどちら […]...
WarmupとData Augmentationのバッチサイズ別の精度低下について
4.6k{icon} {views} 大きいバッチサイズで訓練する際は、バッチサイズの増加にともなう精度低下が深刻になります。この精度低下を抑制することはできるのですが、例えばData Augmentationのようなデ […]...
ML Study Jams中級編終わらせてきた
971{icon} {views} ML Study JamsというGoogle Cloudが提供している無料の学習プログラムの第二弾がオープンしています。今度は中級編が追加されており、全部終わらせてきたのでその報告と感 […]...
クラス別のData Augmentationって意味ある?を調べてみた
3k{icon} {views} Data Augmentationで精度を上げることにお熱になっていると、「特定の足引っ張っているクラスだけAugmetationかけたらいいんじゃない?」的なことをやりたくなります。こ […]...
データのお気持ちを考えながらData Augmentationする
27.6k{icon} {views} Data Augmentationの「なぜ?」に注目しながら、エラー分析をしてCIFAR-10の精度向上を目指します。その結果、オレオレAugmentationながら、Wide R […]...
ML Study Jamsを全部終わらせてきたのでその感想を書いてみる
6.3k{icon} {views} ML Study JamsというGoogle Cloudが提供している無料の学習プログラムが期間限定でオープンしています。それを全部終わらせてきたのでその報告と感想を書いていきたいと […]...
TPUでも大きなバッチサイズに対して精度を出す
4.3k{icon} {views} TPUでは大きなバッチサイズを適用することが訓練の高速化につながりますが、これは精度と引き換えになることがあります。大きなバッチサイズでも精度を出す方法を論文をもとに調べてみました。 […]...
Affinity LossをCIFAR-10で精度を求めてひたすら頑張った話
9.3k{icon} {views} 不均衡データに対して有効性があると言われている損失関数「Affinity loss」をCIFAR-10で精度を出すためにひたすら頑張った、というひたすら泥臭い話。条件10個試したらや […]...
PCA Color Augmentationを拡張してTensorFlow/Keras向けに実装した
2.9k{icon} {views} PCA Color AugmentationはAlexNetの論文に示された画像向けのData Augmentationですが、画像用だけではなく、テンソルの固有値分解をすることで構 […]...
Google Colaboratoryからファイルを簡単にGoogle Driveへ書き込む方法
37.1k{icon} {views} Google ColaboratoryからGoogle Driveに保存する方法はいくつかあるのですが、最近改良が入って簡単に書き込めるようになっていました。その方法を見ていきます […]...