Kerasのジェネレーターでサンプルが列挙される順番について
4.7k{icon} {views} Kerasの(カスタム)ジェネレーターでサンプルがどの順番で呼び出されるか、1ループ終わったあとにどういう処理がなされるのか調べてみました。ジェネレーターを自分で定義するとモデルの表 […]...
TensorFlowでコサイン類似度を計算する方法
9.7k{icon} {views} TensorFlowで損失関数や距離関数に「コサイン類似度」を使うことを考えます。Scikit-learnでは簡単に計算できますが、同様にTensorFlowでの行列演算でも計算でき […]...
TensorFlowで値のソートをする方法
4.2k{icon} {views} TensorFlowでNumpyのnp.sortやnp.argsortのようなソートを行うことを考えます。一般にTensorFlowで値のソートというと、自動微分もあわさって難しいよ […]...
TPUでアップサンプリングする際にエラーを出さない方法
2.5k{icon} {views} 画像処理をしているとUpsamplingが必要になることがあります。Keras/TensorFlowではUpsampling2Dというレイヤーを使ってアップサンプリングができますが、 […]...
PythonのMessagePack-Numpyで独自のクラスをシリアライズする方法
3.3k{icon} {views} MessagePackを使ってシリアライズを高速化したかったのですが、独自のクラスやネストされたオブジェクトについてシリアル化する方法が全然なかったので調べてみました。Numpyのシ […]...
keras_preprocessingを使ってお手軽に画像を回転させる方法
4.8k{icon} {views} Data Augmentationで画像を回転させたいことがあります。画像の回転は一般に「アフィン変換」と呼ばれる操作で、OpenCVやPillowのライブラリを使えば簡単にできるの […]...
Kerasでメモリ使用量を減らしたかったらmax_queue_sizeを調整しよう
14.3k{icon} {views} Kerasで大きめの画像を使ったモデルを訓練していると、メモリが足りなくなるということがよくあります。途中処理の変数のデータ型(np.uint8)を変えるのだけではなく、max_q […]...
Qiita開始1年で2000(訂正:3000)Contribution達成してわかったこと
1.6k{icon} {views} 12/21にQiitaが2000Contribution(いいね)を達成しました。正直Qiita始めたときはここまで行くとは思っていなかったので、素直に驚いているとともに、まずは応援 […]...
One-Hotエンコーディング(ダミー変数)ならPandasのget_dummies()を使おう
53.9k{icon} {views} 特徴量処理(特徴量エンジニアリング)でよく使う処理として、「A,B,C」「1,2,3」といったカテゴリー変数をOne-Hotベクトル化するというのがあります。SkelarnのOne […]...
PandasのDataFrameでグループ別にサンプルをN個抜き出す方法
7.4k{icon} {views} 「PandasでGroupbyでグルーピングしたはいんだけど、そこからグループ別にサンプルを1個、2個…と抜き出す、SQLでよくやるやつってどうやるんだっけ?」ということが気になった […]...