こしあん
2018-08-26

Chainerで画像の前処理やDataAugmentationをしたいときはDatasetMixinを継承しよう

Pocket
LINEで送る


Chainerにはデフォルトでランダムクロップや標準化といった、画像の前処理やDataAugmentation用の関数が用意されていません。別途のChainer CVというライブラリを使う方法もありますが、chainer.dataset.DatasetMixinを継承させて独自のデータ・セットを定義する方法を紹介します。

chainer CV:https://github.com/chainer/chainercv

chainer.dataset.DatasetMixinの継承

今回DenseNetのChainer実装を参考にしました。この例はCIFAR-10の前処理を行うクラスで、入力画像の形式は(3, 32, 32)とします。

class Preprocess(chainer.dataset.DatasetMixin):
    def __init__(self, pairs):
        self.pairs = pairs

    def __len__(self):
        return len(self.pairs)

    def get_example(self, i):
        x, y = self.pairs[i]
        # label
        y = np.array(y, dtype=np.int32)

        # random crop
        pad_x = np.zeros((3, 40, 40), dtype=np.float32)
        pad_x[:, 4:36, 4:36] = x
        top = random.randint(0, 8)
        left = random.randint(0, 8)
        x = pad_x[:, top:top+32, left:left+32]
        # horizontal flip
        if random.randint(0, 1):
            x = x[:, :, ::-1]

        return x, y

コンストラクタのpairsには、訓練データやテストデータ全体を代入します。コンストラクタの継承は特に行わなくてよいそうです。次に、__len__関数を定義し、データの数を返せるようにします。

最後にget_exampleの関数にDataAugmentationや標準化などの前処理を定義します。ここでi番目は、pairsに定義されたサンプルのインデックスです。全てテンソルではなく、サンプル単位のNumpy配列を操作すればよいです。Chainerはchannels_firstなので、(チャンネル, 縦, 横)という配列になりますのでそこは注意してください。

順に解説していきましょう。「label」のところは、サンプルのyがラベルの番号を表す数字なので(MNISTだったら8を表す8)、ランク0の配列を避けるために、ランク1の配列にします。

ランダムクロップは、よく論文で使われる形式で上下左右に4ピクセルのPaddingを入れて、40×40の中からランダムに32×32のエリアを抜き出すというものです。numpy.randomとrandomパッケージのrandomの挙動の違いに注意してください。

「Horizontal Flip」はランダムで左右を反転させる前処理です。これもよく論文で使われます。random.rand(0, 1)はランダムに0か1かを返す関数です。

他にも状況に応じて、Numpyの配列を処理するコードをget_exampleの中に追加していきます。最後にサンプル単位のXとyを返して終わりです。

独自Datasetの使い方

この独自に定義したDatasetをSerialIteratorで回すことができます。SerialIteratorでは、シャッフルやミニバッチ単位の切り出しといった最低限の機能しかないので、他に前処理したければ独自のDataset作れということなんでしょうね。

例えばCIFAR-10ならこうします。

train, test = chainer.datasets.get_cifar10()
train = Preprocess(train)
test = Preprocess(test)
train_iter = chainer.iterators.SerialIterator(train, 128)
test_iter = chainer.iterators.SerialIterator(test, 100, repeat=False, shuffle=False)

このように読み込んだデータを、独自定義したDatasetのコンストラクタに食わせるだけです。あとはSerialIteratorが勝手にやってくれます。そのためのget_exampleの定義なのですから。

以上です。ChainerではChainer CVといったライブラリを使わない場合、前処理をNumpy配列から書いていくことになります。その際、chainer.dataset.DatasetMixinを継承し独自のDatasetを定義することで、SerialIteratorにスムーズにわたすことができます。

(こういうの公式チュートリアルでちゃんと説明してもいいと思いますが、自分の探し方が悪かったのか特に見つからなかったです。こういうとこChainer不親切だなと思いました。)

Related Posts

KerasのModelCheckpointのsave_best_onlyは何を表すのか?... Kerasには「モデルの精度が良くなったときだけ係数を保存する」のに便利なModelCheckpointというクラスがあります。ただこのsave_best_onlyがいまいち公式の解説だとピンとこないので調べてみました。 ModelCheckpointとは? 公式ドキュメントより ke...
GANでGeneratorの損失関数をmin(log(1-D))からmaxlog Dにした場合の実験... GANの訓練をうまくいくためのTipとしてよく引用される、How to train GANの中から、Generatorの損失関数をmin(log(1-D))からmaxlog Dにした場合を実験してみました。その結果、損失結果を変更しても出力画像のクォリティーには大して差が出ないことがわかりました。...
KerasのCallbackを使って継承したImageDataGeneratorに値が渡せるか確かめ... Kerasで前処理の内容をエポックごとに変えたいというケースがたまにあります。これを実装するとなると、CallbackからGeneratorに値を渡すというコードになりますが、これが本当にできるかどうか確かめてみました。 想定する状況 例えば、前処理で正則化に関係するData Augmenta...
TensorFlowでコサイン類似度を計算する方法... TensorFlowで損失関数や距離関数に「コサイン類似度」を使うことを考えます。Scikit-learnでは簡単に計算できますが、同様にTensorFlowでの行列演算でも計算できます。それを見ていきます。 コサイン類似度 コサイン類似度は、ユークリッド距離と同様に距離関数として使われる評価...
TensorFlow/Kerasでの分散共分散行列・相関行列、テンソル主成分分析の実装... TensorFlowでは分散共分散行列や主成分分析用の関数が用意されていません。訓練を一切せずにTensorFlowとKeras関数だけを使って、分散共分散行列、相関行列、主成分分析を実装します。最終的にはカテゴリー別のテンソル主成分分析を作れるようにします。 何らかの論文でこれらのテクニックを...
Pocket
Delicious にシェア

Add a Comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です