TensorFlowで値のソートをする方法
4.3k{icon} {views} TensorFlowでNumpyのnp.sortやnp.argsortのようなソートを行うことを考えます。一般にTensorFlowで値のソートというと、自動微分もあわさって難しいよ […]...
TPUでアップサンプリングする際にエラーを出さない方法
2.6k{icon} {views} 画像処理をしているとUpsamplingが必要になることがあります。Keras/TensorFlowではUpsampling2Dというレイヤーを使ってアップサンプリングができますが、 […]...
PythonのMessagePack-Numpyで独自のクラスをシリアライズする方法
3.5k{icon} {views} MessagePackを使ってシリアライズを高速化したかったのですが、独自のクラスやネストされたオブジェクトについてシリアル化する方法が全然なかったので調べてみました。Numpyのシ […]...
keras_preprocessingを使ってお手軽に画像を回転させる方法
4.9k{icon} {views} Data Augmentationで画像を回転させたいことがあります。画像の回転は一般に「アフィン変換」と呼ばれる操作で、OpenCVやPillowのライブラリを使えば簡単にできるの […]...
Kerasでメモリ使用量を減らしたかったらmax_queue_sizeを調整しよう
14.5k{icon} {views} Kerasで大きめの画像を使ったモデルを訓練していると、メモリが足りなくなるということがよくあります。途中処理の変数のデータ型(np.uint8)を変えるのだけではなく、max_q […]...
One-Hotエンコーディング(ダミー変数)ならPandasのget_dummies()を使おう
54.7k{icon} {views} 特徴量処理(特徴量エンジニアリング)でよく使う処理として、「A,B,C」「1,2,3」といったカテゴリー変数をOne-Hotベクトル化するというのがあります。SkelarnのOne […]...
PandasのDataFrameでグループ別にサンプルをN個抜き出す方法
7.6k{icon} {views} 「PandasでGroupbyでグルーピングしたはいんだけど、そこからグループ別にサンプルを1個、2個…と抜き出す、SQLでよくやるやつってどうやるんだっけ?」ということが気になった […]...
KerasのCallbackを使って継承したImageDataGeneratorに値が渡せるか確かめる
3k{icon} {views} Kerasで前処理の内容をエポックごとに変えたいというケースがたまにあります。これを実装するとなると、CallbackからGeneratorに値を渡すというコードになりますが、これが本当 […]...
Pythonでxy座標上の2点間の距離をforループを使わずに計算する方法
34.5k{icon} {views} 機械学習でカーネル法やらクラスタリングをやっていると、何かと「2サンプル(点)間の距離」を計算することが多いです。ここではより一般的に「Pythonで2点間の距離をforループを使 […]...
Numpyの配列に対して「最も多く存在する値」を求める方法
20.6k{icon} {views} アンサンブル学習などで、Numpyの配列のある軸に対して「最も多く存在する値」を求めたい、つまり「多数決」をしたいことがあります。その方法を見ていきます。 最も大きい値がmax, […]...