Kerasでカスタム損失関数を用いたモデルをロードするとValueError
Kerasで損失関数を独自に定義したモデルを保存した場合、load_modelで読み込むと「ValueError: Unknown loss function」とエラーになることがあります。その解決法を示します。
参考:https://github.com/keras-team/keras/issues/5916
目次
テストデータ
エラーを再現させるための問題設定として、以下のような関数で示されるデータを作ります。
$y = 2x \qquad (x<0)$
$y = 4x \qquad (x\geq 0)$
グラフで書くと次のようなデータです(グラフはさらに上の式にノイズを乗せています)。
このグラフは以下のコードのplot_data()を実行したものです。
import numpy as np
import matplotlib.pyplot as plt
# データの作成
def create_data():
np.random.seed(45)
X = np.random.rand(1000, 1) * 10 - 5 # X=[-5,5)
y = np.zeros(X.shape)
# X < 0 では y = 2x
y[X<0] = 2*X[X<0]
# X > 0 では y = 4x
y[X>0] = 4*X[X>0]
# Yにノイズをのっける
y = y + np.random.randn(*y.shape) * 0.5
return X, y
# データのプロット
def plot_data():
X, y = create_data()
plt.plot(np.ravel(X), np.ravel(y), ".")
plt.show()
説明のためのテストデータなのでざっくりとだけ解説しますが、Xはnp.random.randで0~1の一様乱数を1000個発生させています。それを-5~5の範囲に拡張し、上の式を適用しました。ノイズは標準偏差0.5の正規乱数(np.random.randn)を乗せています。
カスタム損失関数による最適化
今回特別にyが0より大きいときのみの回帰式を求めます。つまり、上の式より、$y=4x$が求めればいいのです。活性化関数にReLUを使えばカスタム損失関数なくても行けるかもしれませんが、今回は次のように構成しました。
- 入力層→出力層のシンプルなニューラルネットワーク。ニューロンが1個だけ
- 活性化関数は使わない(=線形活性化関数)
- 損失関数を独自に定義し、yが0より大きいときは平均二乗誤差、yが0以下のときは誤差0とする
コードは以下の通り。
import keras.backend as K
from keras.models import Model
from keras.layers import Input, Dense
from keras.optimizers import Adam
# y>0のみ損失関数
def loss_function(ytrue, ypred):
return K.maximum(K.sign(ytrue), 0) * (ytrue - ypred)**2
# モデルを作る
def create_model():
input = Input(shape=(1,))
output = Dense(1)(input) # 線形活性化関数
model = Model(inputs=input, outputs=output)
return model
# 訓練
def train():
X, y = create_data()
model = create_model()
model.compile(Adam(lr=0.5), loss=loss_function)
model.fit(X, y, batch_size = 64, epochs=100)
print("Weights = ", model.get_weights())
model.save("model.h5")
損失関数のところがトリッキーですが、ytrueが0よりも大きければK.maximumが1、0以下ならば0となり、結果的にytrueが0よりも大きい場合のみ平均二乗誤差が返されるようになります。カスタム損失関数で行っているのはテンソル同士の計算なので、直感的なコードではないかもしれません。
train()を実行すると訓練が始まり、最終的に「model.h5」というファイルにモデルが保存されます。ちなみに、係数を表示すると以下の通りです。
Epoch 100/100
1000/1000 [==============================] - 0s 12us/step - loss: 0.1525
Weights = [array([[4.009528]], dtype=float32), array([0.04200225], dtype=float32)]
Weightsの最初が係数で、2つ目が切片です。おおよそ「$y=4x$」(実際には$y=4.01x+0.04$)となり、ほぼ期待通りの答えが得られました。大きく深いニューラルネットワークで、係数を人間がわかりやすく理解することは難しいですが、ニューロンが1個だけだとただの1次関数なのでとても簡単ですね!
ValueError: Unknown loss functionの解決法
ここからが本題。先程保存した「model.h5」を別スクリプトファイルで読み込んでみます。
from keras.models import load_model
model = load_model("model.h5")
これを実行すると次のようなエラーが出ます。
File “C:\Program Files (x86)\Microsoft Visual Studio\Shared\Anaconda3_64\lib\s
ite-packages\keras\utils\generic_utils.py”, line 164, in deserialize_keras_objec
t
‘:’ + function_name)
ValueError: Unknown loss function:loss_function
独自に定義した損失関数が読み込めないためこのようなエラーが起こります。ただ、損失関数をコピペすればよいのではなく、load_modelするときにcustom_objectsの引数に渡す必要があります。次のようにします。
from keras.models import load_model
import keras.backend as K
def loss_function(ytrue, ypred):
return K.maximum(K.sign(ytrue), 0) * (ytrue - ypred)**2
model = load_model("model.h5", custom_objects={'loss_function': loss_function})
これで正しく読み込めます。fitやオプティマイザーを独自に定義したときも似たようなエラーが起こるかもしれませんが、同様のアプローチでOKです。
Shikoan's ML Blogの中の人が運営しているサークル「じゅ~しぃ~すくりぷと」の本のご案内
技術書コーナー
「本当の実装力を身につける」ための221本ノック――
機械学習(ML)で避けて通れない数値計算ライブラリ・NumPyを、自在に活用できるようになろう。「できる」ための体系的な理解を目指します。基礎から丁寧に解説し、ディープラーニング(DL)の難しいモデルで遭遇する、NumPyの黒魔術もカバー。初心者から経験者・上級者まで楽しめる一冊です。問題を解き終わったとき、MLやDLなどの発展分野にスムーズに入っていけるでしょう。
本書の大きな特徴として、Pythonの本でありがちな「NumPyとML・DLの結合を外した」点があります。NumPyを理解するのに、MLまで理解するのは負担が大きいです。本書ではあえてこれらの内容を書いていません。行列やテンソルの理解に役立つ「従来の画像処理」をNumPyベースで深く解説・実装していきます。
しかし、問題の多くは、DLの実装で頻出の関数・処理を重点的に取り上げています。経験者なら思わず「あー」となるでしょう。関数丸暗記では自分で実装できません。「覚える関数は最小限、できる内容は無限大」の世界をぜひ体験してみてください。画像編集ソフトの処理をNumPyベースで実装する楽しさがわかるでしょう。※紙の本は電子版の特典つき
- まとめURL:https://github.com/koshian2/numpy_book
- みんなの感想:https://togetter.com/li/1641475
- A4 全176ページモノクロ / 2020年12月発行
「誰もが夢見るモザイク除去」を起点として、機械学習・ディープラーニングの基本をはじめ、GAN(敵対的生成ネットワーク)の基本や発展型、ICCV, CVPR, ECCVといった国際学会の最新論文をカバーしていく本です。
ディープラーニングの研究は発展が目覚ましく、特にGANの発展型は市販の本でほとんどカバーされていない内容です。英語の原著論文を著者がコードに落とし込み、実装を踏まえながら丁寧に解説していきます。
また、本コードは全てTensorFlow2.0(Keras)に対応し、Googleの開発した新しい機械学習向け計算デバイス・TPU(Tensor Processing Unit)をフル活用しています。Google Colaboratoryを用いた環境構築不要の演習問題もあるため、読者自ら手を動かしながら理解を深めていくことができます。
AI、機械学習、ディープラーニングの最新事情、奥深いGANの世界を知りたい方にとってぜひ手にとっていただきたい一冊となっています。持ち運びに便利な電子書籍のDLコードが付属しています。
「おもしろ同人誌バザールオンライン」で紹介されました!(14:03~) https://youtu.be/gaXkTj7T79Y?t=843
まとめURL:https://github.com/koshian2/MosaicDeeplearningBook
A4 全195ページ、カラー12ページ / 2020年3月発行
累計100万PV超の人気ブログが待望の電子化! このブログが電子書籍になって読みやすくなりました!
・1章完結のオムニバス形式
・機械学習の基本からマニアックなネタまで
・どこから読んでもOK
・何巻から読んでもOK
・短いものは2ページ、長いものは20ページ超のものも…
・通勤・通学の短い時間でもすぐ読める!
・読むのに便利な「しおり」機能つき
・全巻はA5サイズでたっぷりの「200ページオーバー」
・1冊にたっぷり30本収録。1本あたり18.3円の圧倒的コストパフォーマンス!
・文庫本感覚でお楽しみください
北海道の駅巡りコーナー
ローカル線や秘境駅、マニアックな駅に興味のある方におすすめ! 2021年に大半区間が廃線になる、北海道の日高本線の全区間・全29駅(苫小牧~様似)を記録した本です。マイカーを使わずに、公共交通機関(バス)と徒歩のみで全駅訪問を行いました。日高本線が延伸する計画のあった、襟裳岬まで様似から足を伸ばしています。代行バスと路線バスの織り成す極限の時刻表ゲームと、絶海の太平洋と馬に囲まれた日高路、日高の隠れたグルメを是非たっぷり堪能してください。A4・フルカラー・192ページのたっぷりのボリュームで、あなたも旅行気分を漫喫できること待ったなし!
見どころ:日高本線被災区間(大狩部、慶能舞川橋梁、清畠~豊郷) / 牧場に囲まれた絵笛駅 / 窓口のあっただるま駅・荻伏駅 / 汐見の戦争遺跡のトーチカ / 新冠温泉、三石温泉 / 襟裳岬
A4 全192ページフルカラー / 2020年11月発行