TensorFlowの関数で画像にモザイクを書ける方法

Posted On 2019-11-01

Pocket

1.3k{icon} {views}

TensorFlow2.0の関数を使い、画像にモザイクをかける方法を紹介します。OpenCVやPILでの書き方はいろいろありますが、TensorFlowでどう書くかはまず出てきませんでした。GPUやTPUでのブーストも使えます。

モザイク付与のアルゴリズム

いろいろあるとは思いますが、自分が使っているのは次の方法です。

Nearest Negihbor法で1/Nの解像度にダウンサンプリング（Nは元の画像の解像度にあわせて適当に調整）
適当なサイズのカーネルのガウシアンぼかしをかける
Nearest Neighbor法でN倍にアップサンプリング

環境：TensorFlow2.0.0

実装

この画像を「ramen.jpg」とし、モザイクをかけてみます。

import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np

def load_image():
    # ファイルを読み込みJPEGをデコード (このオペレーションはTPUでは不可能なので注意)
    return tf.io.decode_jpeg(tf.io.read_file("ramen.jpg"))

def add_mosaic(inputs):
    # 0-1スケールに変換（ここからTPUでも実行可能）
    x = tf.image.convert_image_dtype(inputs, tf.float32)
    # 4階テンソルで考える
    x = tf.expand_dims(x, axis=0)

    # ガウシアンぼかしのカーネル
    kernel = np.array([
        [1, 4, 6, 4, 1],
        [4, 16, 24, 16, 4],
        [6, 24, 36, 24, 6],
        [4, 16, 24, 16, 4],
        [1, 4, 6, 4, 1]], np.float32) / 256.0
    gaussian_kernel = tf.constant(np.broadcast_to(kernel.reshape(5, 5, 1, 1), (5, 5, 3, 1)))

    # Nearest Neighborのダウンサンプリング
    x = tf.image.resize(x, size=(x.shape[1] // 16, x.shape[2] // 16),
                        method=tf.image.ResizeMethod.NEAREST_NEIGHBOR)
    # ガウシアンぼかし
    x = tf.nn.depthwise_conv2d(x, gaussian_kernel, strides=[1, 1, 1, 1], padding="SAME")
    # Nearest Neighborのアップサンプリング
    x = tf.image.resize(x, size=(x.shape[1] * 16, x.shape[2] * 16),
                        method=tf.image.ResizeMethod.NEAREST_NEIGHBOR)
    return x

if __name__ == "__main__":
    x = load_image()
    mosaic = add_mosaic(x)
    plt.imshow(mosaic.numpy()[0])
    plt.show()

注意：このコードをTPUで実行したところ、リサイズ部分の挙動がおかしくて正しい挙動になりませんでした。ご注意ください（TF2.0）。

結果は以下の通り

いい感じにモザイクかかっていますね。周囲が黒くなっているのはPaddingの影響です。もしここが気になるのなら、tf.padのモードをREFLECTにして、事前にReflect paddingするとよいでしょう。

Depthwise Conv vs Conv2D

このコード、ガウシアンぼかしの部分にDepthwise Convを使っているのが特徴です。以前の記事では（PyTorchですが）、チャンネルごとにConv2DをかけてConcatするという方法を取りました。チャンネルごとにConv2DをかけてConcatするというのと、Depthwise Convは実は同じことです（これに気づいてうおおおおってなりました）。

確認してみましょう。Depthwise Convでガウシアンぼかしをかけた例と、チャンネル単位にConv2Dでガウシアンぼかしをかけた例で誤差を取ります。比較例として、ガウシアンぼかしをかける前後での誤差も同様に取ります。誤差はL1ロスで計測します。

def depthwise_conv_check():
    inputs = load_image()
    x = tf.image.convert_image_dtype(inputs, tf.float32)
    base_img = tf.expand_dims(x, axis=0)

    # ガウシアンぼかしのカーネル（DepthwiseかConv2Dかでカーネルのshapeが違うので注意）
    kernel = np.array([
        [1, 4, 6, 4, 1],
        [4, 16, 24, 16, 4],
        [6, 24, 36, 24, 6],
        [4, 16, 24, 16, 4],
        [1, 4, 6, 4, 1]], np.float32) / 256.0
    depthwise_kernel = tf.constant(np.broadcast_to(kernel.reshape(5, 5, 1, 1), (5, 5, 3, 1)))

    # ガウシアンぼかし
    depthwise_blur = tf.nn.depthwise_conv2d(base_img, depthwise_kernel, strides=[1, 1, 1, 1], padding="SAME")

    # Conv2dによる計算
    conv_kernel = tf.constant(kernel.reshape(5, 5, 1, 1))
    multichannel = [tf.nn.conv2d(base_img[:,:,:, i:i + 1], conv_kernel, strides=[1, 1, 1, 1],
                    padding="SAME") for i in range(3)]
    conv_blur = tf.concat(multichannel, axis=-1)

    # depthwiseとconv2dの差分
    method_diff = tf.reduce_mean(tf.abs(depthwise_blur - conv_blur))
    print(method_diff.numpy())

    # オリジナルとガウシアンぼかしの差分（比較用）
    blur_diff = tf.reduce_mean(tf.abs(depthwise_blur - base_img))
    print(blur_diff.numpy())

結果は次のようになりました。