Scikit-learnのROC/AUCのy_predのスケールについて

---

SklearnのROC曲線/AUCスコアのy_pred側のスケールは実は0～1でなくてもよかったという話。0～1以外の値を放り込んでもちゃんと計算できるか確かめてみました。

公式ドキュメントを読むと

SklearnにはAUC（Area under the curve）スコアを計算してくれる関数roc_auc_scoreというのがあります。公式ドキュメントを読むと、

sklearn.metrics.roc_auc_score(y_true, y_score, average=’macro’, sample_weight=None, max_fpr=None)

よくあるSklearnのmetricsのように(y_true, y_pred)の順で放り込めばいいですね。y_trueはだいたい0or1で正しい確率を放り込めばいいいのはわかりますが、y_predは必ずしも確率を放り込まなくてもいいようです。

y_true : array, shape = [n_samples] or [n_samples, n_classes]
True binary labels or binary label indicators.

y_score : array, shape = [n_samples] or [n_samples, n_classes]
Target scores, can either be probability estimates of the positive class, confidence values, or non-thresholded measure of decisions (as returned by “decision_function” on some classifiers). For binary y_true, y_score is supposed to be the score of the class with greater label.

とあるように、y_trueはバイナリーラベルか、0,1,2のようなラベルのインジケーターでなければいけないのですが、y_predはどこにも0～1のスケールでなければいけないとは書いていないのです。

それどころか、ここの部分「non-thresholded measure of decisions (as returned by “decision_function” on some classifiers)」という表記にあるように、スレッショルド（しきい値）を計算していない状態での何らかの値を放り込んで、そこからROC曲線を描いてAUCを求めるみたいなことができてしまいます。

y_trueもy_predも確率の場合のAUC

例えば二値分類の場合。何らかの分類器がy=1である確率を出力したとして、AUCを計算してみます。

import numpy as np
from sklearn.metrics import roc_auc_score

y_true = np.array([0., 1., 0., 1., 0.])
y_pred = np.array([0.2, 0.5, 0.3, 0.4, 0.1])
print(roc_auc_score(y_true, y_pred))

本当のラベルは、2,4番目のサンプルが1で、1,3,5番目のサンプルは0であることを示します。この場合は、「y_predが0.3より大きい」という条件でしきい値を引いてしまえば100%正しく分類できるので、AUCスコアは1となります。実際に計算すると、

1.0

このように1.0になりました。マルチクラスの場合も同様で、

import numpy as np
from sklearn.metrics import roc_auc_score

y_true = np.array([[0., 1.], [1., 0.], [0., 1.], [1., 0.], [0., 1.]])
y_pred = np.array([[0.2,0.8], [0.5,0.5], [0.3,0.7], [0.4,0.6], [0.1,0.9]])
print(roc_auc_score(y_true, y_pred, average=None))
# [1. 1.]

このようにクラスごとにAUCスコアは1になっています。デフォルトだとクラス間のreduceが入るので、average=Noneとしました。

y_predを確率としない場合

ここからが本題で、y_predのスケールが適当だった場合を考えます。例えばユークリッド距離だったりする場合です。

import numpy as np
from sklearn.metrics import roc_auc_score

y_true = np.array([0., 1., 0., 1., 0.])
y_pred = np.array([20, 50, 30, 40, 10])
print(roc_auc_score(y_true, y_pred))
# 1.0

このように、y_predが0～1のスケールでなくてもOKということが確認できてしまいました。y_predが30より大きいでしきい値を引いてしまえば完全に分割できますからね。マルチクラスの場合も同様にうまくいくのでしょうか。

import numpy as np
from sklearn.metrics import roc_auc_score

y_true = np.array([[0., 1.], [1., 0.], [0., 1.], [1., 0.], [0., 1.]])
y_pred = np.array([[20,10], [50,-30], [30,5], [40,-5], [10,20]])
print(roc_auc_score(y_true, y_pred, average=None))
# [1. 1.]

今度はy_predの1つ目の列と2つ目の列のスケールが異なる例です。これもうまくいきます。なぜなら1列目は同様に「30より大きい」、2列目は「-5より大きい」で完全に分割できるからです。

逆にちょっとAUCが下がってしまう例を見てみましょう。ノイズを混ぜてみます。

y_true = np.array([[0., 1.], [1., 0.], [0., 1.], [1., 0.], [0., 1.]])
y_pred = np.array([[45,-10], [50,-30], [30,5], [40,-5], [10,20]])
print(roc_auc_score(y_true, y_pred, average=None))
# [0.83333333 0.83333333]

y_predの1つ目を変えてみました。これだと1列目の「30より大きければ1」という条件に0（45）が混入し、2列目の「-5より大きければ1」という条件に1（-10）が混入しているため、AUCスコアは下がります。完全には分割することはできません。

まとめ

SklearnのROC曲線・AUCスコアでは、y_predのスケールを気にしなくてOKっぽい。わざわざスレッショルド求めるのめんどくさいっていうときに便利そうな機能なので積極的に使っていきたいです。

---

---

Shikoan's ML Blogの中の人が運営しているサークル「じゅ～しぃ～すくりぷと」の本のご案内

---