Google Colabで訓練実行中の裏で定期的にバックアップ取りたい
1.8k{icon} {views} Google Colabで定期的にGoogle Driveにバックアップにとる方法を紹介します。Linuxコマンドだけでできる単純な方法で、追加の課金は必要ありません。 悲しみを背負 […]...
TensorFlow2.0のTPUでモデルを保存したり、CPUと相互運用する方法
3.3k{icon} {views} TensorFlow2.0+Colab TPUでモデルを保存する方法、CPUとTPUで保存した係数を相互運用する方法、TPUを意識したモデルの保存方法を見ていきます。 環境 CPU: […]...
TensorFlow2.0でDistributed Trainingをいい感じにやるためのデコレーターを作った
2.4k{icon} {views} TensorFlow2.0+TPUで訓練していて、いちいちマルチデバイスための訓練・Validationのコード書くの面倒くさいなと思ったので、それをいい感じにラップしてくれるデコレ […]...
TensorFlow2.0でDistribute Trainingしたときにfitと訓練ループで精度が違ってハマった話
3.5k{icon} {views} TensorFlowでDistribute Training(複数GPUやTPUでの訓練)をしたときに、Keras APIのfit()でのValidation精度と、訓練ループを書い […]...
ML Study Jamsを全部終わらせてきたのでその感想を書いてみる
6.3k{icon} {views} ML Study JamsというGoogle Cloudが提供している無料の学習プログラムが期間限定でオープンしています。それを全部終わらせてきたのでその報告と感想を書いていきたいと […]...
TPUでも大きなバッチサイズに対して精度を出す
4.3k{icon} {views} TPUでは大きなバッチサイズを適用することが訓練の高速化につながりますが、これは精度と引き換えになることがあります。大きなバッチサイズでも精度を出す方法を論文をもとに調べてみました。 […]...
TPUで学習率減衰させる方法
4.4k{icon} {views} TPUで学習率減衰したいが、TensorFlowのオプティマイザーを使うべきか、tf.kerasのオプティマイザーを使うべきか、あるいはKerasのオプティマイザーを使うべきか非常に […]...
Google ColabのTPUでメッセージがうるさいときにやること
3.1k{icon} {views} Google ColabのTPUを使っているとえらいメッセージが表示されて、うるさいときがあります。そんなときにメッセージを消す裏技を発見したので書いていきたいと思います。 こんなメ […]...
Google Colaboratoryからファイルを簡単にGoogle Driveへ書き込む方法
36.9k{icon} {views} Google ColaboratoryからGoogle Driveに保存する方法はいくつかあるのですが、最近改良が入って簡単に書き込めるようになっていました。その方法を見ていきます […]...
ColabのTPUでNASNet Largeを訓練しようとして失敗した話
6.2k{icon} {views} ColabのTPUはとてもメモリ容量が大きく、計算が速いのでモデルのパラメーターを多くしてもそこまでメモリオーバーor遅くなりません。ただし、あまりにモデルが深すぎると訓練の初期設定 […]...