こしあん
2018-08-26

Chainerで画像の前処理やDataAugmentationをしたいときはDatasetMixinを継承しよう


Chainerにはデフォルトでランダムクロップや標準化といった、画像の前処理やDataAugmentation用の関数が用意されていません。別途のChainer CVというライブラリを使う方法もありますが、chainer.dataset.DatasetMixinを継承させて独自のデータ・セットを定義する方法を紹介します。

chainer CV:https://github.com/chainer/chainercv

chainer.dataset.DatasetMixinの継承

今回DenseNetのChainer実装を参考にしました。この例はCIFAR-10の前処理を行うクラスで、入力画像の形式は(3, 32, 32)とします。

class Preprocess(chainer.dataset.DatasetMixin):
    def __init__(self, pairs):
        self.pairs = pairs

    def __len__(self):
        return len(self.pairs)

    def get_example(self, i):
        x, y = self.pairs[i]
        # label
        y = np.array(y, dtype=np.int32)

        # random crop
        pad_x = np.zeros((3, 40, 40), dtype=np.float32)
        pad_x[:, 4:36, 4:36] = x
        top = random.randint(0, 8)
        left = random.randint(0, 8)
        x = pad_x[:, top:top+32, left:left+32]
        # horizontal flip
        if random.randint(0, 1):
            x = x[:, :, ::-1]

        return x, y

コンストラクタのpairsには、訓練データやテストデータ全体を代入します。コンストラクタの継承は特に行わなくてよいそうです。次に、__len__関数を定義し、データの数を返せるようにします。

最後にget_exampleの関数にDataAugmentationや標準化などの前処理を定義します。ここでi番目は、pairsに定義されたサンプルのインデックスです。全てテンソルではなく、サンプル単位のNumpy配列を操作すればよいです。Chainerはchannels_firstなので、(チャンネル, 縦, 横)という配列になりますのでそこは注意してください。

順に解説していきましょう。「label」のところは、サンプルのyがラベルの番号を表す数字なので(MNISTだったら8を表す8)、ランク0の配列を避けるために、ランク1の配列にします。

ランダムクロップは、よく論文で使われる形式で上下左右に4ピクセルのPaddingを入れて、40×40の中からランダムに32×32のエリアを抜き出すというものです。numpy.randomとrandomパッケージのrandomの挙動の違いに注意してください。

「Horizontal Flip」はランダムで左右を反転させる前処理です。これもよく論文で使われます。random.rand(0, 1)はランダムに0か1かを返す関数です。

他にも状況に応じて、Numpyの配列を処理するコードをget_exampleの中に追加していきます。最後にサンプル単位のXとyを返して終わりです。

独自Datasetの使い方

この独自に定義したDatasetをSerialIteratorで回すことができます。SerialIteratorでは、シャッフルやミニバッチ単位の切り出しといった最低限の機能しかないので、他に前処理したければ独自のDataset作れということなんでしょうね。

例えばCIFAR-10ならこうします。

train, test = chainer.datasets.get_cifar10()
train = Preprocess(train)
test = Preprocess(test)
train_iter = chainer.iterators.SerialIterator(train, 128)
test_iter = chainer.iterators.SerialIterator(test, 100, repeat=False, shuffle=False)

このように読み込んだデータを、独自定義したDatasetのコンストラクタに食わせるだけです。あとはSerialIteratorが勝手にやってくれます。そのためのget_exampleの定義なのですから。

以上です。ChainerではChainer CVといったライブラリを使わない場合、前処理をNumpy配列から書いていくことになります。その際、chainer.dataset.DatasetMixinを継承し独自のDatasetを定義することで、SerialIteratorにスムーズにわたすことができます。

(こういうの公式チュートリアルでちゃんと説明してもいいと思いますが、自分の探し方が悪かったのか特に見つからなかったです。こういうとこChainer不親切だなと思いました。)

Related Posts

Kerasのジェネレーターでサンプルが列挙される順番について... Kerasの(カスタム)ジェネレーターでサンプルがどの順番で呼び出されるか、1ループ終わったあとにどういう処理がなされるのか調べてみました。ジェネレーターを自分で定義するとモデルの表現の幅は広がるものの、バグが起きやすくなるので「本当に順番が保証されるのか」や「ハマりどころ」を確認します。 0~...
keras_preprocessingを使ってお手軽に画像を回転させる方法... Data Augmentationで画像を回転させたいことがあります。画像の回転は一般に「アフィン変換」と呼ばれる操作で、OpenCVやPillowのライブラリを使えば簡単にできるのですが、Numpy配列に対して1から書くとかなりめんどいのです。Kerasが裏で使っているkeras_preproc...
Kerasで重みを共有しつつ、必要に応じて入力の位置を変える方法... Kerasで訓練させて、途中から新しく入力を作ってそこからの出力までの値を取りたいということがたまにあります。例えば、Variational Auto Encoderのサンプリングなんかそうです。このあまり書かれていないのでざっとですが整理しておきます。 こういうことをやりたい 言葉で書いても...
TensorFlow/Kerasでの分散共分散行列・相関行列、テンソル主成分分析の実装... TensorFlowでは分散共分散行列や主成分分析用の関数が用意されていません。訓練を一切せずにTensorFlowとKeras関数だけを使って、分散共分散行列、相関行列、主成分分析を実装します。最終的にはカテゴリー別のテンソル主成分分析を作れるようにします。 何らかの論文でこれらのテクニックを...
TPUで学習率減衰させる方法 TPUで学習率減衰したいが、TensorFlowのオプティマイザーを使うべきか、tf.kerasのオプティマイザーを使うべきか、あるいはKerasのオプティマイザーを使うべきか非常にややこしいことがあります。TPUで学習率を減衰させる方法を再現しました。 結論から TPU環境でtf.keras...

Add a Comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です