Kerasでメモリ使用量を減らしたかったらmax_queue_sizeを調整しよう
14.1k{icon} {views} Kerasで大きめの画像を使ったモデルを訓練していると、メモリが足りなくなるということがよくあります。途中処理の変数のデータ型(np.uint8)を変えるのだけではなく、max_q […]...
One-Hotエンコーディング(ダミー変数)ならPandasのget_dummies()を使おう
52.8k{icon} {views} 特徴量処理(特徴量エンジニアリング)でよく使う処理として、「A,B,C」「1,2,3」といったカテゴリー変数をOne-Hotベクトル化するというのがあります。SkelarnのOne […]...
PandasのDataFrameでグループ別にサンプルをN個抜き出す方法
7.2k{icon} {views} 「PandasでGroupbyでグルーピングしたはいんだけど、そこからグループ別にサンプルを1個、2個…と抜き出す、SQLでよくやるやつってどうやるんだっけ?」ということが気になった […]...
KerasのCallbackを使って継承したImageDataGeneratorに値が渡せるか確かめる
2.9k{icon} {views} Kerasで前処理の内容をエポックごとに変えたいというケースがたまにあります。これを実装するとなると、CallbackからGeneratorに値を渡すというコードになりますが、これが […]...
Pythonでxy座標上の2点間の距離をforループを使わずに計算する方法
33.7k{icon} {views} 機械学習でカーネル法やらクラスタリングをやっていると、何かと「2サンプル(点)間の距離」を計算することが多いです。ここではより一般的に「Pythonで2点間の距離をforループを使 […]...
Numpyの配列に対して「最も多く存在する値」を求める方法
19.7k{icon} {views} アンサンブル学習などで、Numpyの配列のある軸に対して「最も多く存在する値」を求めたい、つまり「多数決」をしたいことがあります。その方法を見ていきます。 最も大きい値がmax, […]...
KerasのModelCheckpointのsave_best_onlyは何を表すのか?
11.1k{icon} {views} Kerasには「モデルの精度が良くなったときだけ係数を保存する」のに便利なModelCheckpointというクラスがあります。ただこのsave_best_onlyがいまいち公式の […]...
Kerasで重みを共有しつつ、必要に応じて入力の位置を変える方法
7.2k{icon} {views} Kerasで訓練させて、途中から新しく入力を作ってそこからの出力までの値を取りたいということがたまにあります。例えば、Variational Auto Encoderのサンプリングな […]...
Kerasのバックエンドで「○○以上☓☓以下」を計算する方法
2.7k{icon} {views} Kerasのバックエンド関数を使ったときに「○○以上☓☓以下」を求めたい場合があります。しかし、KerasではAndのような論理演算をすると少し困ることがあります。その方法を解説しま […]...
Pythonで画像のカラーヒストグラムを簡単に表示する方法
10.6k{icon} {views} 画像で赤、緑、青の画素がどのような分布になっているかという「カラーヒストグラム」を見たいことがあります。しかしいざ探すとツールが少ないのです。Pythonならほんの数行で出せます。 […]...