TPUでアップサンプリングする際にエラーを出さない方法
2.4k{icon} {views} 画像処理をしているとUpsamplingが必要になることがあります。Keras/TensorFlowではUpsampling2Dというレイヤーを使ってアップサンプリングができますが、 […]...
PythonのMessagePack-Numpyで独自のクラスをシリアライズする方法
3.2k{icon} {views} MessagePackを使ってシリアライズを高速化したかったのですが、独自のクラスやネストされたオブジェクトについてシリアル化する方法が全然なかったので調べてみました。Numpyのシ […]...
keras_preprocessingを使ってお手軽に画像を回転させる方法
4.6k{icon} {views} Data Augmentationで画像を回転させたいことがあります。画像の回転は一般に「アフィン変換」と呼ばれる操作で、OpenCVやPillowのライブラリを使えば簡単にできるの […]...
Kerasでメモリ使用量を減らしたかったらmax_queue_sizeを調整しよう
14.1k{icon} {views} Kerasで大きめの画像を使ったモデルを訓練していると、メモリが足りなくなるということがよくあります。途中処理の変数のデータ型(np.uint8)を変えるのだけではなく、max_q […]...
Qiita開始1年で2000(訂正:3000)Contribution達成してわかったこと
1.6k{icon} {views} 12/21にQiitaが2000Contribution(いいね)を達成しました。正直Qiita始めたときはここまで行くとは思っていなかったので、素直に驚いているとともに、まずは応援 […]...
One-Hotエンコーディング(ダミー変数)ならPandasのget_dummies()を使おう
52.8k{icon} {views} 特徴量処理(特徴量エンジニアリング)でよく使う処理として、「A,B,C」「1,2,3」といったカテゴリー変数をOne-Hotベクトル化するというのがあります。SkelarnのOne […]...
PandasのDataFrameでグループ別にサンプルをN個抜き出す方法
7.2k{icon} {views} 「PandasでGroupbyでグルーピングしたはいんだけど、そこからグループ別にサンプルを1個、2個…と抜き出す、SQLでよくやるやつってどうやるんだっけ?」ということが気になった […]...
KerasのCallbackを使って継承したImageDataGeneratorに値が渡せるか確かめる
2.9k{icon} {views} Kerasで前処理の内容をエポックごとに変えたいというケースがたまにあります。これを実装するとなると、CallbackからGeneratorに値を渡すというコードになりますが、これが […]...
SIGNATEの個人情報要求がすごかったので経済産業省に電話した話
28.8k{icon} {views} https://commons.wikimedia.org/wiki/File:Keizaisangyosho1.jpgより CC 表示-継承 3.0 アメリカにはKaggleとい […]...
Pythonでxy座標上の2点間の距離をforループを使わずに計算する方法
33.7k{icon} {views} 機械学習でカーネル法やらクラスタリングをやっていると、何かと「2サンプル(点)間の距離」を計算することが多いです。ここではより一般的に「Pythonで2点間の距離をforループを使 […]...