こしあん
2019-10-24

TensorFlowでもラプラシアンピラミッドを作る

Pocket
LINEで送る

以前作ったPyTorchのラプラシアンピラミッドをTensorFlow2.0に移植しました。何かと便利なラプラシアンピラミッドをつかってみよう。

環境

TensorFlow2.0

CPUの動作で確認しましたが、一応TPUでも動くように配慮はしました。

PyTorchの元記事

コード

Conv2DのカーネルがPyTorchは「out_ch, in_ch, kernel_size, kernel_size」だったのに対し、TensorFlow(Keras)は「kernel_size, kernel_size, in_ch, out_ch」なのに注意すればいいだけです。

from PIL import Image
import numpy as np
import tensorflow as tf
import tensorflow.keras.backend as K

# 画像ファイル→PyTorchテンソル
def load_tensor(img_path):
    x = tf.image.convert_image_dtype(tf.io.decode_jpeg(tf.io.read_file(img_path)), tf.float32)
    return tf.expand_dims(x, axis=0)

def get_gaussian_kernel():
    kernel = np.array([
        [1, 4, 6, 4, 1],
        [4, 16, 24, 16, 4],
        [6, 24, 36, 24, 6],
        [4, 16, 24, 16, 4],
        [1, 4, 6, 4, 1]], np.float32) / 256.0
    return tf.constant(kernel.reshape(5, 5, 1, 1))

def pyramid_down(image):
    gaussian_k = get_gaussian_kernel()
    multiband = [K.conv2d(image[:,:,:, i:i + 1], gaussian_k, padding="same", strides=2) for i in range(3)]
    return tf.concat(multiband, axis=-1)

def pyramid_up(image):
    gaussian_k = get_gaussian_kernel()
    upsample = K.repeat_elements(K.repeat_elements(image, 2, axis=1), 2, axis=2)
    multiband = [K.conv2d(upsample[:,:,:, i:i + 1], gaussian_k, padding="same") for i in range(3)]
    return tf.concat(multiband, axis=-1)

def gaussian_pyramid(original, n_pyramids):
    x = original
    # pyramid down
    pyramids = [original]
    for i in range(n_pyramids):
        x = pyramid_down(x)
        pyramids.append(x)
    return pyramids

def laplacian_pyramid(original, n_pyramids):
    # gaussian pyramidを作る
    pyramids = gaussian_pyramid(original, n_pyramids)
    # pyramid up - diff
    laplacian = []
    for i in range(len(pyramids) - 1):
        diff = pyramids[i] - pyramid_up(pyramids[i + 1])
        laplacian.append(diff)

    # ガウシアンピラミッドの最後を入れる
    laplacian.append(pyramids[len(pyramids) - 1])
    return laplacian

## 出力用のツール
# ピラミッドを1枚の画像に結合して保存するための関数
def tile_pyramid(tf_tenosor_imgs):
    height, width = tf_tenosor_imgs[0].shape[1:3]
    canvas = np.zeros((height * 3 // 2, width, 3), np.float32)
    x, y = 0, 0
    for i, img in enumerate(tf_tenosor_imgs):
        h, w = img.shape[1:3]
        canvas[y:(y + h), x:(x + w), :] = img.numpy()            
        if i % 2 == 0:
            x += width // (2 ** (i + 3))                    
            y += height // (2 ** i) # 0, 2, 4..でy方向にシフト
        else:
            x += width // (2 ** i)  # 1, 3, 5..でx方向にシフト
            y += height // (2 ** (i + 3))
    return canvas

# 見やすいようにMin-Maxでスケーリングする
def normalize_pyramids(pyramids):
    result = []
    for diff in pyramids:
        diff_min = tf.reduce_min(diff)
        diff_max = tf.reduce_max(diff)
        diff_normalize = (diff - diff_min) / (diff_max - diff_min)
        result.append(diff_normalize)
    return result

if __name__ == "__main__":
    original = load_tensor("train.jpg")
    pyramid = laplacian_pyramid(original, 6)
    pyramid = normalize_pyramids(pyramid)
    tile = (tile_pyramid(pyramid) * 255.0).astype(np.uint8)
    with Image.fromarray(tile) as img:
        img.save("tile_pyramid.jpg", quality=95)

結果

元画像

タイル

良いのではないでしょうか

Related Posts

TensorFlow/Kerasでの分散共分散行列・相関行列、テンソル主成分分析の実装... TensorFlowでは分散共分散行列や主成分分析用の関数が用意されていません。訓練を一切せずにTensorFlowとKeras関数だけを使って、分散共分散行列、相関行列、主成分分析を実装します。最終的にはカテゴリー別のテンソル主成分分析を作れるようにします。 何らかの論文でこれらのテクニックを...
TensorFlow2.0+TPUでData AugmentationしながらCIFAR-10... TensorFlow2.0+TPUでData AugmentationしながらCIFAR-10を分類するサンプルです。Data Augmentationはtf.dataでやるのがポイントです。 TensorFlowを2.Xに上げる まずは、ランタイム切り替えで「TPU」を選択しましょう。無料で...
Kerasで評価関数にF1スコアを使う方法 Kerasで訓練中の評価関数(metrics)にF1スコアを使う方法を紹介します。Kerasのmetricsに直接F1スコアの関数を入れると、バッチ間の平均計算により、調和平均であるF1スコアは正しい値が計算されません。そこだけ注意が必要です。 F1スコアをmetricsに入れるときは要注意 ...
TensorFlow2.0でDistribute Trainingしたときにfitと訓練ループで精度... TensorFlowでDistribute Training(複数GPUやTPUでの訓練)をしたときに、Keras APIのfit()でのValidation精度と、訓練ループを書いたときの精度でかなり(1~2%)違うという状況に遭遇しました。特定の文を忘れただけだったのですが、解決に1日かかった...
TensorFlow2.0のGradientTapeを複数使う場合のサンプル... TF2.0系で少し複雑なモデルを訓練するときに、GradientTapeを複数使うことがあります。例として、微分を取りたい場所が2箇所あるケースや、2階微分を取りたいケースを挙げます。場合によって微妙に書き方が違うので注意が必要です。 微分を取りたい場所が2箇所あるケース 簡単な例にします。次...
Pocket
LINEで送る
Delicious にシェア

Add a Comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です