こしあん
2018-08-26

Chainerで画像の前処理やDataAugmentationをしたいときはDatasetMixinを継承しよう


Chainerにはデフォルトでランダムクロップや標準化といった、画像の前処理やDataAugmentation用の関数が用意されていません。別途のChainer CVというライブラリを使う方法もありますが、chainer.dataset.DatasetMixinを継承させて独自のデータ・セットを定義する方法を紹介します。

chainer CV:https://github.com/chainer/chainercv

chainer.dataset.DatasetMixinの継承

今回DenseNetのChainer実装を参考にしました。この例はCIFAR-10の前処理を行うクラスで、入力画像の形式は(3, 32, 32)とします。

class Preprocess(chainer.dataset.DatasetMixin):
    def __init__(self, pairs):
        self.pairs = pairs

    def __len__(self):
        return len(self.pairs)

    def get_example(self, i):
        x, y = self.pairs[i]
        # label
        y = np.array(y, dtype=np.int32)

        # random crop
        pad_x = np.zeros((3, 40, 40), dtype=np.float32)
        pad_x[:, 4:36, 4:36] = x
        top = random.randint(0, 8)
        left = random.randint(0, 8)
        x = pad_x[:, top:top+32, left:left+32]
        # horizontal flip
        if random.randint(0, 1):
            x = x[:, :, ::-1]

        return x, y

コンストラクタのpairsには、訓練データやテストデータ全体を代入します。コンストラクタの継承は特に行わなくてよいそうです。次に、__len__関数を定義し、データの数を返せるようにします。

最後にget_exampleの関数にDataAugmentationや標準化などの前処理を定義します。ここでi番目は、pairsに定義されたサンプルのインデックスです。全てテンソルではなく、サンプル単位のNumpy配列を操作すればよいです。Chainerはchannels_firstなので、(チャンネル, 縦, 横)という配列になりますのでそこは注意してください。

順に解説していきましょう。「label」のところは、サンプルのyがラベルの番号を表す数字なので(MNISTだったら8を表す8)、ランク0の配列を避けるために、ランク1の配列にします。

ランダムクロップは、よく論文で使われる形式で上下左右に4ピクセルのPaddingを入れて、40×40の中からランダムに32×32のエリアを抜き出すというものです。numpy.randomとrandomパッケージのrandomの挙動の違いに注意してください。

「Horizontal Flip」はランダムで左右を反転させる前処理です。これもよく論文で使われます。random.rand(0, 1)はランダムに0か1かを返す関数です。

他にも状況に応じて、Numpyの配列を処理するコードをget_exampleの中に追加していきます。最後にサンプル単位のXとyを返して終わりです。

独自Datasetの使い方

この独自に定義したDatasetをSerialIteratorで回すことができます。SerialIteratorでは、シャッフルやミニバッチ単位の切り出しといった最低限の機能しかないので、他に前処理したければ独自のDataset作れということなんでしょうね。

例えばCIFAR-10ならこうします。

train, test = chainer.datasets.get_cifar10()
train = Preprocess(train)
test = Preprocess(test)
train_iter = chainer.iterators.SerialIterator(train, 128)
test_iter = chainer.iterators.SerialIterator(test, 100, repeat=False, shuffle=False)

このように読み込んだデータを、独自定義したDatasetのコンストラクタに食わせるだけです。あとはSerialIteratorが勝手にやってくれます。そのためのget_exampleの定義なのですから。

以上です。ChainerではChainer CVといったライブラリを使わない場合、前処理をNumpy配列から書いていくことになります。その際、chainer.dataset.DatasetMixinを継承し独自のDatasetを定義することで、SerialIteratorにスムーズにわたすことができます。

(こういうの公式チュートリアルでちゃんと説明してもいいと思いますが、自分の探し方が悪かったのか特に見つからなかったです。こういうとこChainer不親切だなと思いました。)

Related Posts

Kerasで複数のラベル(出力)があるモデルを訓練する... Kerasで複数のラベル(出力)のあるモデルを訓練することを考えます。ここでの複数のラベルとは、あるラベルとそれに付随する情報が送られてきて、それを同時に損失関数で計算する例です。これを見ていきましょう。 問題設定 MNISTの分類で、ラベルが奇数のときだけ損失を評価し(categorical...
Kerasで評価関数にF1スコアを使う方法 Kerasで訓練中の評価関数(metrics)にF1スコアを使う方法を紹介します。Kerasのmetricsに直接F1スコアの関数を入れると、バッチ間の平均計算により、調和平均であるF1スコアは正しい値が計算されません。そこだけ注意が必要です。 F1スコアをmetricsに入れるときは要注意 ...
Kerasのジェネレーターでサンプルが列挙される順番について... Kerasの(カスタム)ジェネレーターでサンプルがどの順番で呼び出されるか、1ループ終わったあとにどういう処理がなされるのか調べてみました。ジェネレーターを自分で定義するとモデルの表現の幅は広がるものの、バグが起きやすくなるので「本当に順番が保証されるのか」や「ハマりどころ」を確認します。 0~...
PandasのDataFrameでグループ別にサンプルをN個抜き出す方法... 「PandasでGroupbyでグルーピングしたはいんだけど、そこからグループ別にサンプルを1個、2個…と抜き出す、SQLでよくやるやつってどうやるんだっけ?」ということが気になったので、調べました。ちゃんとした方法があります。 例題 今、中国地方と四国地方の県と面積をDataFrameにして...
Kerasで重みを共有しつつ、必要に応じて入力の位置を変える方法... Kerasで訓練させて、途中から新しく入力を作ってそこからの出力までの値を取りたいということがたまにあります。例えば、Variational Auto Encoderのサンプリングなんかそうです。このあまり書かれていないのでざっとですが整理しておきます。 こういうことをやりたい 言葉で書いても...

Add a Comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です