タグ: 前処理

PyTorchでクラスの数字を0,1のベクトルに変形するOnehotベクトルを簡単に書く方法を紹介します。ワンライナーでできます。 TL;DR PyTorchではこれでOnehotエンコーディングができます。 oneho […]...

PyTorch/TorchVisionで入力が複数あり、それぞれの入力に対して同じ前処理（transforms）をかけるケースを考えます。デフォルトのtransformsは複数対応していないのでうまくいきません。しかし、 […]...

Data Augmentationの「なぜ？」に注目しながら、エラー分析をしてCIFAR-10の精度向上を目指します。その結果、オレオレAugmentationながら、Wide ResNetで97.3%という、Auto […]...

特にテーブルデータで、実際の分析に入る前に欠損値やデータの分布の把握といった、探索的データ解析（EDA）というのは重要なプロセスになります。TensorFlow Data Validationというツールを使うとそれがた […]...

NumpyでData Augmentationするのが遅かったり、書くの面倒だったりすることありますよね。今回はNumpy（CPU）ではなく、ニューラルネットワーク側（GPU、TPU）でAugmetationをする方法を […]...

PythonでOpenCVを使い画像を歪ませる方法を考えます。アフィン変換というちょっと直感的に理解しにくいことをしますが、慣れればそこまで難しくはありません。ディープラーニングのData Augmentationにも使 […]...

MessagePackを使ってシリアライズを高速化したかったのですが、独自のクラスやネストされたオブジェクトについてシリアル化する方法が全然なかったので調べてみました。Numpyのシリアライズも使えるMessagePac […]...

Data Augmentationで画像を回転させたいことがあります。画像の回転は一般に「アフィン変換」と呼ばれる操作で、OpenCVやPillowのライブラリを使えば簡単にできるのですが、Numpy配列に対して1から書 […]...

特徴量処理（特徴量エンジニアリング）でよく使う処理として、「A,B,C」「1,2,3」といったカテゴリー変数をOne-Hotベクトル化するというのがあります。SkelarnのOneHotEncoderでもできますが、Pa […]...

「PandasでGroupbyでグルーピングしたはいんだけど、そこからグループ別にサンプルを1個、2個…と抜き出す、SQLでよくやるやつってどうやるんだっけ？」ということが気になったので、調べました。ちゃんとした方法があ […]...