Kerasでカスタム損失関数を用いたモデルをロードするとValueError

Kerasで損失関数を独自に定義したモデルを保存した場合、load_modelで読み込むと「ValueError: Unknown loss function」とエラーになることがあります。その解決法を示します。

参考：https://github.com/keras-team/keras/issues/5916

テストデータ

エラーを再現させるための問題設定として、以下のような関数で示されるデータを作ります。

$y = 2x \qquad (x<0)$
$y = 4x \qquad (x\geq 0)$

グラフで書くと次のようなデータです（グラフはさらに上の式にノイズを乗せています）。

このグラフは以下のコードのplot_data()を実行したものです。

import numpy as np
import matplotlib.pyplot as plt

# データの作成
def create_data():
    np.random.seed(45)
    X = np.random.rand(1000, 1) * 10 - 5 # X=[-5,5)
    y = np.zeros(X.shape)
    # X < 0 では y = 2x
    y[X<0] = 2*X[X<0]
    # X > 0　では y = 4x
    y[X>0] = 4*X[X>0]
    # Yにノイズをのっける
    y = y + np.random.randn(*y.shape) * 0.5
    return X, y

# データのプロット
def plot_data():
    X, y = create_data()
    plt.plot(np.ravel(X), np.ravel(y), ".")
    plt.show()

説明のためのテストデータなのでざっくりとだけ解説しますが、Xはnp.random.randで0～1の一様乱数を1000個発生させています。それを-5～5の範囲に拡張し、上の式を適用しました。ノイズは標準偏差0.5の正規乱数（np.random.randn）を乗せています。

カスタム損失関数による最適化

今回特別にyが0より大きいときのみの回帰式を求めます。つまり、上の式より、$y=4x$が求めればいいのです。活性化関数にReLUを使えばカスタム損失関数なくても行けるかもしれませんが、今回は次のように構成しました。

• 入力層→出力層のシンプルなニューラルネットワーク。ニューロンが1個だけ
• 活性化関数は使わない（＝線形活性化関数）
• 損失関数を独自に定義し、yが0より大きいときは平均二乗誤差、yが0以下のときは誤差0とする

コードは以下の通り。

import keras.backend as K
from keras.models import Model
from keras.layers import Input, Dense
from keras.optimizers import Adam

# y>0のみ損失関数
def loss_function(ytrue, ypred):
    return  K.maximum(K.sign(ytrue), 0) * (ytrue - ypred)**2

# モデルを作る
def create_model():
    input = Input(shape=(1,))
    output = Dense(1)(input) # 線形活性化関数
    model = Model(inputs=input, outputs=output)
    return model

# 訓練
def train():
    X, y = create_data()
    model = create_model()
    model.compile(Adam(lr=0.5), loss=loss_function)
    model.fit(X, y, batch_size = 64, epochs=100)
    print("Weights = ", model.get_weights())
    model.save("model.h5")

損失関数のところがトリッキーですが、ytrueが0よりも大きければK.maximumが1、0以下ならば0となり、結果的にytrueが0よりも大きい場合のみ平均二乗誤差が返されるようになります。カスタム損失関数で行っているのはテンソル同士の計算なので、直感的なコードではないかもしれません。

train()を実行すると訓練が始まり、最終的に「model.h5」というファイルにモデルが保存されます。ちなみに、係数を表示すると以下の通りです。

Epoch 100/100
1000/1000 [==============================] - 0s 12us/step - loss: 0.1525
Weights =  [array([[4.009528]], dtype=float32), array([0.04200225], dtype=float32)]

Weightsの最初が係数で、2つ目が切片です。おおよそ「$y=4x$」（実際には$y=4.01x+0.04$）となり、ほぼ期待通りの答えが得られました。大きく深いニューラルネットワークで、係数を人間がわかりやすく理解することは難しいですが、ニューロンが1個だけだとただの1次関数なのでとても簡単ですね！

ValueError: Unknown loss functionの解決法

ここからが本題。先程保存した「model.h5」を別スクリプトファイルで読み込んでみます。

from keras.models import load_model

model = load_model("model.h5")

これを実行すると次のようなエラーが出ます。

File “C:\Program Files (x86)\Microsoft Visual Studio\Shared\Anaconda3_64\lib\s
ite-packages\keras\utils\generic_utils.py”, line 164, in deserialize_keras_objec
t
‘:’ + function_name)
ValueError: Unknown loss function:loss_function

独自に定義した損失関数が読み込めないためこのようなエラーが起こります。ただ、損失関数をコピペすればよいのではなく、load_modelするときにcustom_objectsの引数に渡す必要があります。次のようにします。

from keras.models import load_model
import keras.backend as K

def loss_function(ytrue, ypred):
    return  K.maximum(K.sign(ytrue), 0) * (ytrue - ypred)**2

model = load_model("model.h5", custom_objects={'loss_function': loss_function})

これで正しく読み込めます。fitやオプティマイザーを独自に定義したときも似たようなエラーが起こるかもしれませんが、同様のアプローチでOKです。