Kerasでメモリ使用量を減らしたかったらmax_queue_sizeを調整しよう
14.3k{icon} {views} Kerasで大きめの画像を使ったモデルを訓練していると、メモリが足りなくなるということがよくあります。途中処理の変数のデータ型(np.uint8)を変えるのだけではなく、max_q […]...
Qiita開始1年で2000(訂正:3000)Contribution達成してわかったこと
1.6k{icon} {views} 12/21にQiitaが2000Contribution(いいね)を達成しました。正直Qiita始めたときはここまで行くとは思っていなかったので、素直に驚いているとともに、まずは応援 […]...
One-Hotエンコーディング(ダミー変数)ならPandasのget_dummies()を使おう
54.2k{icon} {views} 特徴量処理(特徴量エンジニアリング)でよく使う処理として、「A,B,C」「1,2,3」といったカテゴリー変数をOne-Hotベクトル化するというのがあります。SkelarnのOne […]...
PandasのDataFrameでグループ別にサンプルをN個抜き出す方法
7.5k{icon} {views} 「PandasでGroupbyでグルーピングしたはいんだけど、そこからグループ別にサンプルを1個、2個…と抜き出す、SQLでよくやるやつってどうやるんだっけ?」ということが気になった […]...
KerasのCallbackを使って継承したImageDataGeneratorに値が渡せるか確かめる
3k{icon} {views} Kerasで前処理の内容をエポックごとに変えたいというケースがたまにあります。これを実装するとなると、CallbackからGeneratorに値を渡すというコードになりますが、これが本当 […]...
SIGNATEの個人情報要求がすごかったので経済産業省に電話した話
29.5k{icon} {views} https://commons.wikimedia.org/wiki/File:Keizaisangyosho1.jpgより CC 表示-継承 3.0 アメリカにはKaggleとい […]...