TensorFlow2.0のTPUでモデルを保存したり、CPUと相互運用する方法
1.4k{icon} {views} TensorFlow2.0+Colab TPUでモデルを保存する方法、CPUとTPUで保存した係数を相互運用する方法、TPUを意識したモデルの保存方法を見ていきます。 環境 CPU: […]...
TensorFlow2.0でDistributed Trainingをいい感じにやるためのデコレーターを作った
981{icon} {views} TensorFlow2.0+TPUで訓練していて、いちいちマルチデバイスための訓練・Validationのコード書くの面倒くさいなと思ったので、それをいい感じにラップしてくれるデコレー […]...
TensorFlow2.0でDistribute Trainingしたときにfitと訓練ループで精度が違ってハマった話
1.7k{icon} {views} TensorFlowでDistribute Training(複数GPUやTPUでの訓練)をしたときに、Keras APIのfit()でのValidation精度と、訓練ループを書い […]...
ML Study Jamsを全部終わらせてきたのでその感想を書いてみる
4.9k{icon} {views} ML Study JamsというGoogle Cloudが提供している無料の学習プログラムが期間限定でオープンしています。それを全部終わらせてきたのでその報告と感想を書いていきたいと […]...
TPUでも大きなバッチサイズに対して精度を出す
1.8k{icon} {views} TPUでは大きなバッチサイズを適用することが訓練の高速化につながりますが、これは精度と引き換えになることがあります。大きなバッチサイズでも精度を出す方法を論文をもとに調べてみました。 […]...
TPUで学習率減衰させる方法
2.5k{icon} {views} TPUで学習率減衰したいが、TensorFlowのオプティマイザーを使うべきか、tf.kerasのオプティマイザーを使うべきか、あるいはKerasのオプティマイザーを使うべきか非常に […]...
Google ColabのTPUでメッセージがうるさいときにやること
1.4k{icon} {views} Google ColabのTPUを使っているとえらいメッセージが表示されて、うるさいときがあります。そんなときにメッセージを消す裏技を発見したので書いていきたいと思います。 こんなメ […]...
Google Colaboratoryからファイルを簡単にGoogle Driveへ書き込む方法
13k{icon} {views} Google ColaboratoryからGoogle Driveに保存する方法はいくつかあるのですが、最近改良が入って簡単に書き込めるようになっていました。その方法を見ていきます。 […]...
ColabのTPUでNASNet Largeを訓練しようとして失敗した話
3k{icon} {views} ColabのTPUはとてもメモリ容量が大きく、計算が速いのでモデルのパラメーターを多くしてもそこまでメモリオーバーor遅くなりません。ただし、あまりにモデルが深すぎると訓練の初期設定で失 […]...
Google ColabのTPU環境でmodel.fitのhistoryが消える現象
1.1k{icon} {views} Google ColabのTPU環境でmodel.fitしたときに、通常の環境で得られるhistory(誤差や精度のログ)が消えていることがあります。その対応法を示します。 原因はT […]...