Kerasでカスタム損失関数を用いたモデルをロードするとValueError
Kerasで損失関数を独自に定義したモデルを保存した場合、load_modelで読み込むと「ValueError: Unknown loss function」とエラーになることがあります。その解決法を示します。
参考：https://github.com/keras-team/keras/issues/5916
テストデータ
エラーを再現させるための問題設定として、以下のような関数で示されるデータを作ります。
$y = 2x \qquad (x<0)$
$y = 4x \qquad (x\geq 0)$
グラフで書くと次のようなデータです（グラフはさらに上の式にノイズを乗せています）。
このグラフは以下のコードのplot_data()を実行したものです。
import numpy as np
import matplotlib.pyplot as plt
# データの作成
def create_data():
np.random.seed(45)
X = np.random.rand(1000, 1) * 10 - 5 # X=[-5,5)
y = np.zeros(X.shape)
# X < 0 では y = 2x
y[X<0] = 2*X[X<0]
# X > 0 では y = 4x
y[X>0] = 4*X[X>0]
# Yにノイズをのっける
y = y + np.random.randn(*y.shape) * 0.5
return X, y
# データのプロット
def plot_data():
X, y = create_data()
plt.plot(np.ravel(X), np.ravel(y), ".")
plt.show()
説明のためのテストデータなのでざっくりとだけ解説しますが、Xはnp.random.randで0～1の一様乱数を1000個発生させています。それを-5～5の範囲に拡張し、上の式を適用しました。ノイズは標準偏差0.5の正規乱数（np.random.randn）を乗せています。
カスタム損失関数による最適化
今回特別にyが0より大きいときのみの回帰式を求めます。つまり、上の式より、$y=4x$が求めればいいのです。活性化関数にReLUを使えばカスタム損失関数なくても行けるかもしれませんが、今回は次のように構成しました。
- 入力層→出力層のシンプルなニューラルネットワーク。ニューロンが1個だけ
- 活性化関数は使わない（＝線形活性化関数）
- 損失関数を独自に定義し、yが0より大きいときは平均二乗誤差、yが0以下のときは誤差0とする
コードは以下の通り。
import keras.backend as K
from keras.models import Model
from keras.layers import Input, Dense
from keras.optimizers import Adam
# y>0のみ損失関数
def loss_function(ytrue, ypred):
return K.maximum(K.sign(ytrue), 0) * (ytrue - ypred)**2
# モデルを作る
def create_model():
input = Input(shape=(1,))
output = Dense(1)(input) # 線形活性化関数
model = Model(inputs=input, outputs=output)
return model
# 訓練
def train():
X, y = create_data()
model = create_model()
model.compile(Adam(lr=0.5), loss=loss_function)
model.fit(X, y, batch_size = 64, epochs=100)
print("Weights = ", model.get_weights())
model.save("model.h5")
損失関数のところがトリッキーですが、ytrueが0よりも大きければK.maximumが1、0以下ならば0となり、結果的にytrueが0よりも大きい場合のみ平均二乗誤差が返されるようになります。カスタム損失関数で行っているのはテンソル同士の計算なので、直感的なコードではないかもしれません。
train()を実行すると訓練が始まり、最終的に「model.h5」というファイルにモデルが保存されます。ちなみに、係数を表示すると以下の通りです。
Epoch 100/100
1000/1000 [==============================] - 0s 12us/step - loss: 0.1525
Weights = [array([[4.009528]], dtype=float32), array([0.04200225], dtype=float32)]
Weightsの最初が係数で、2つ目が切片です。おおよそ「$y=4x$」（実際には$y=4.01x+0.04$）となり、ほぼ期待通りの答えが得られました。大きく深いニューラルネットワークで、係数を人間がわかりやすく理解することは難しいですが、ニューロンが1個だけだとただの1次関数なのでとても簡単ですね！
ValueError: Unknown loss functionの解決法
ここからが本題。先程保存した「model.h5」を別スクリプトファイルで読み込んでみます。
from keras.models import load_model
model = load_model("model.h5")
これを実行すると次のようなエラーが出ます。
File “C:\Program Files (x86)\Microsoft Visual Studio\Shared\Anaconda3_64\lib\s
ite-packages\keras\utils\generic_utils.py”, line 164, in deserialize_keras_objec
t
‘:’ + function_name)
ValueError: Unknown loss function:loss_function
独自に定義した損失関数が読み込めないためこのようなエラーが起こります。ただ、損失関数をコピペすればよいのではなく、load_modelするときにcustom_objectsの引数に渡す必要があります。次のようにします。
from keras.models import load_model
import keras.backend as K
def loss_function(ytrue, ypred):
return K.maximum(K.sign(ytrue), 0) * (ytrue - ypred)**2
model = load_model("model.h5", custom_objects={'loss_function': loss_function})
これで正しく読み込めます。fitやオプティマイザーを独自に定義したときも似たようなエラーが起こるかもしれませんが、同様のアプローチでOKです。