分類・検出の精度評価について
適合率と再現率を使いこなそう！

2016/10/15 機械学習 名古屋 第7回勉強会
後藤 俊介 ( @antimon2 )

自己紹介

• 名前：後藤 俊介
• 所属：有限会社 来栖川電算
• 言語：Python, Julia, Ruby, Scala（勉強中）, …
• twitter: @antimon2
• Facebook: antimon2
• GitHub: antimon2

前回（分類精度の評価について）のあらすじ

※前回「分類精度の評価について」というタイトルで少し発表しました。今日はその続きです。
※前回参加されていない方もいらっしゃるので、かいつまんで前回話したことをまず紹介します。

シチュエーション

• キノコが10個ある。
• いくつかは安全なキノコで、いくつかは毒キノコ。
• できるだけ安全なキノコだけを選びたい。
• かつ、できる限りたくさんのキノコを選びたい。

※前回、こんな問題を考えました。

例えば。

正解	○	○	○	×	×	○	×	×	×	×
選択	○	○	○	○	○	×	×	×	×	×

※安全なキノコは10個中4個、残りの6個は毒キノコ。
※5個のキノコを選んだけれど、そのうち3個が安全なキノコ、2個が毒キノコだった。

表にしてみた。

	安全なキノコ	毒キノコ
選んだキノコ	3	2
選ばなかったキノコ	1	4

※所謂クロス集計表ですね。

正解率 (Accuracy)

	安全なキノコ	毒キノコ
選んだキノコ	3	2
選ばなかったキノコ	1	4

$$ {\rm Accuracy} = \frac{3 + 4}{3 + 2 + 1 + 4} = 0.7 $$

• 全キノコのうちの、正解だったキノコの割合。
  • キノコ10個のうち、7個が正解 → 正解率は 0.7（70%）
• 「どれだけ『正しく判別』できたか」という、一番わかりやすい指標。一番よく使われる。

適合率 (Precision)

	安全なキノコ	毒キノコ
選んだキノコ	3	2
選ばなかったキノコ	1	4

$$ {\rm Precision} = \frac{3}{3 + 2} = 0.6 $$

• 選んだキノコのうちの、正解だったキノコ（＝安全なキノコ）の割合。
• 「どれだけ『見る目』があるか」を測る指標。
  • 適合率が高い ＝ 選んだキノコはほとんど安全なキノコ
  • 適合率が低い ＝ 選んだキノコはかなり毒キノコ

※ 正解率が 100% ならば、適合率は 100%。
※ 適合率のことを単に「精度」とも言う（英語では同じく Precision）。
※ TensorFlow の公式チュートリアルのサンプルでは、よく "Precision"（精度）という名称で、こっちじゃなくて実際には Accuracy になってたりするので注意！

再現率 (Recall)

	安全なキノコ	毒キノコ
選んだキノコ	3	2
選ばなかったキノコ	1	4

$$ {\rm Recall} = \frac{3}{3 + 1} = 0.75 $$

• 安全なキノコのうちの、正解だったキノコ（＝選んだキノコ）の割合。
• 「どれだけ『取りこぼしがない』か」を測る指標。
  • 再現率が高い ＝ 安全なキノコをほぼ全部選び出している
  • 再現率が低い ＝ 安全なキノコをかなり取りこぼしている

※ 正解率が 100% ならば、再現率は 100%。
※ 再現率は「感度 (Sensitivity)」とも言う。
※ 適合率 と 再現率 は トレードオフ の関係。

F-値 (F1-Score)

$$ \begin{eqnarray} {\rm F}_1 &=& \frac{2}{\frac{1}{\rm Precision} + \frac{1}{\rm Recall}}\\ &=& \frac{2 \times {\rm Precision} \times {\rm Recall}}{{\rm Precision} + {\rm Recall}}\\ &=& 0.66666\dots \end{eqnarray} $$

• 適合率 と 再現率 の2つのバランスを見る指標。
• F-値 ＝ 適合率 と 再現率 の 調和平均
  • F-値が高い ＝ 適合率も再現率もそれなりに高くてバランスが取れている
  • F-値が低い ＝ 適合率・再現率の少なくともどちらか（あるいは両方）が低い

※ 調和平均：逆数の平均（相加平均）の逆数。
※ 正解率が 100% ならば、F-値は 100%。
※ このF-値 (F1-Score) は、recall に $\beta^2$ の重みを乗せた重み付き調和平均で定義される Fβ-Score の特殊なもの（β=1）。

Q: どの評価指標で評価すれば良い？

混同行列 (Confusion Matrix)

	安全なキノコ	毒キノコ
選んだキノコ	3	2
選ばなかったキノコ	1	4

※ データの分類で「うまくできた」「できなかった」を数え上げたクロス集計表のこと。

True Positive

	安全なキノコ	毒キノコ
選んだキノコ	3	2
選ばなかったキノコ	1	4

$$ {\rm TP} = 3 $$

• 正しく選ばれた事象の数（＝安全なキノコを選んだ個数）

※ 選択（＝Positive）が正しかった（＝True）、ということ。

False Positive

	安全なキノコ	毒キノコ
選んだキノコ	3	2
選ばなかったキノコ	1	4

$$ {\rm FP} = 2 $$

• 間違って選ばれた事象の数（＝毒キノコを選んだ個数）

※ 選択（＝Positive）が間違っていた（＝False）、ということ。

False Negative

	安全なキノコ	毒キノコ
選んだキノコ	3	2
選ばなかったキノコ	1	4

$$ {\rm FN} = 1 $$

• 間違って選ばれなかった事象の数（＝選ばなかったうちの安全なキノコの個数）

※ 選択しなかったこと（＝Negative）が間違っていた（＝False）、ということ。

True Negative

	安全なキノコ	毒キノコ
選んだキノコ	3	2
選ばなかったキノコ	1	4

$$ {\rm TN} = 4 $$

• 正しく選ばれなかった事象の数（＝選ばなかったうちの毒キノコの個数）

※ 選択しなかったこと（＝Negative）が正しかった（＝True）、ということ。

混同行列 (Confusion Matrix) 改

	+	-
(+)	TP	FP
(-)	FN	TN

※ TP, FP, FN, TN はそれぞれ、"True Positive", "False Positive", "False Negative", "True Negative" の頭文字。

評価指標の再定義

$$ {\rm Accuracy} = \frac{{\rm TP} + {\rm TN}}{{\rm TP} + {\rm FP} + {\rm FN} + {\rm TN}} $$$$ {\rm Precision} = \frac{\rm TP}{{\rm TP} + {\rm FP}} $$$$ {\rm Recall} = \frac{\rm TP}{{\rm TP} + {\rm FN}} $$$$ {\rm F}_1 = \frac{2{\rm TP}}{2{\rm TP} + {\rm FP} + {\rm FN}} $$

※F-値は実際には元の定義のように precison と recall から計算することが多い。
※↑よりも、「正解率以外（適合率・再現率・F-値）は、TP/FP/FN のみから算出できる」という事実の方が重要！（後述）

シチュエーションその2

• 金メダル・銀メダル・銅メダル が合計 30個 ある。デザインは同じ。
• 誰かがいたずらで全部真っ赤なペンキを塗ってしまった。
• どれが金メダルか・銀メダルか・銅メダルか、仕分けしたい。

分類結果（＝混同行列）

	金メダル	銀メダル	銅メダル
たぶん金メダル	7	0	3
たぶん銀メダル	1	8	1
たぶん銅メダル	0	1	9

※選んだ人は、「たぶん金銀銅どのメダルも10個ずつだろう」と（勝手に）予想して仕分け（分類）した。
※実際には、金メダル＝8個、銀メダル＝9個、銅メダル＝13個だった。
※その内訳が、この表。

TP, FP, FN, TN

	+	-
(+)	TP	FP
(-)	FN	TN

※TP, FP, FN, TN って、こんな感じの表でしたよね？
※どのように考えれば良いのでしょう？

？

まず「金メダル」に注目してみる。

	金メダル	銀メダル	銅メダル
たぶん金メダル	7	0	3
たぶん銀メダル	1	8	1
たぶん銅メダル	0	1	9

「金メダルじゃない」をまとめる。

	金メダル	金メダルじゃない
たぶん金メダル	7	3
たぶん金メダルじゃない	1	19

「金メダルかどうか」で TP〜TN が計算できる。

$$ \begin{eqnarray} {\rm TP}_G &=& 7\\ {\rm FP}_G &=& 3\\ {\rm FN}_G &=& 1\\ {\rm TN}_G &=& 19 \end{eqnarray} $$

※ここで ○○_G の "G" は、金メダル（＝Gold）を表す。
　○○_S（銀メダル＝Silver）、○○_B（銅メダル＝Bronze）も同様に。

他のメダルでも同様に。

	TP	FP	FN	TN
金メダル	7	3	1	19
銀メダル	8	2	1	19
銅メダル	9	1	4	16

※ 各クラス（この場合「金メダル」「銀メダル」「銅メダル」それぞれ）の視点で TP/FP/FN/TN を計算する！
　 これを後で利用する！

正解率（全正解率）

	金メダル	銀メダル	銅メダル
たぶん金メダル	7	0	3
たぶん銀メダル	1	8	1
たぶん銅メダル	0	1	9

$$ \begin{eqnarray} {\rm Accuracy} &=& \frac{\sum_i {\rm TP}_i}{{\rm TP}_G + {\rm FP}_G + {\rm FN}_G + {\rm TN}_G}\\ &=& 0.8 \end{eqnarray} $$

• 全メダルのうちの、正解だったメダルの割合。
• （混同行列上は）2値分類のときと同じ考え方。最もシンプルな指標。

平均正解率

	TP	FP	FN	TN
金メダル	7	3	1	19
銀メダル	8	2	1	19
銅メダル	9	1	4	16

$$ \begin{eqnarray} {\rm AvgAccuracy} &=& \frac{\sum_i \frac{{\rm TP}_i + {\rm TN}_i}{{\rm TP}_i + {\rm FP}_i + {\rm FN}_i + {\rm TN}_i}}{l}\\ &=& 0.866666\dots \end{eqnarray} $$

• 各メダルごとに正解率を出して、その平均（相加平均）を取る。
• 「どのクラス（この場合メダル）もそれなりによく正解しているか」が分かる指標。

平均適合率（マクロ適合率）

	TP	FP	FN	TN
金メダル	7	3	1	19
銀メダル	8	2	1	19
銅メダル	9	1	4	16

$$ \begin{eqnarray} {\rm Precision_M} &=& \frac{\sum_i \frac{{\rm TP}_i}{{\rm TP}_i + {\rm FP}_i}}{l}\\ &=& 0.8 \end{eqnarray} $$

• 各メダルごとに適合率を出して、その平均（相加平均）を取る。
• 「どのクラス（この場合メダル）もそれなりによく『見る目』があるか」が分かる指標。

平均再現率（マクロ再現率）

	TP	FP	FN	TN
金メダル	7	3	1	19
銀メダル	8	2	1	19
銅メダル	9	1	4	16

$$ \begin{eqnarray} {\rm Recall_M} &=& \frac{\sum_i \frac{{\rm TP}_i}{{\rm TP}_i + {\rm FN}_i}}{l}\\ &=& 0.818732\dots \end{eqnarray} $$

• 各メダルごとに再現率を出して、その平均（相加平均）を取る。
• 「どのクラス（この場合メダル）もそれなりによく『取りこぼしがない』か」が分かる指標。

平均F-値（マクロF-値）

$$ \begin{eqnarray} {\rm F_{1M}} &=& \frac{2 \times {\rm Precision_M} \times {\rm Recall_M}}{{\rm Precision_M} + {\rm Recall_M}}\\ &=& 0.809257\dots \end{eqnarray} $$

• 平均適合率 と 平均再現率 とで計算する F-値。

※ 他にも指標はあるけれど、取り敢えずこのあたりを押さえておけば。

シチュエーションその3

※いよいよここからが、今日の本題です。

• サバンナに迷い込んだ。ライオンが隠れている。
• ライオンはいっぱいいるが、全部で何頭いるかは分からない。
• ライオンを見つけ出したい（見つけたライオンを避けて通り過ぎたい）。

※最後は「見付けたライオンを撃ち殺して進みたい」でもOK（ちょと物騒になるけれど）。

検出結果（≒混同行列）

	ライオン	ライオンじゃない
たぶんライオン	7	3
(未検出)	9	-

※見付けた「たぶんライオン」は10匹だった。
※でも実際にはライオンは16匹いた。
※しかもそのうち見付けたライオンは7匹しかいなかった。

TP, FP, FN , TN

	ライオン	ライオンじゃない
たぶんライオン	7	3
(未検出)	9	-

$$ \begin{eqnarray} {\rm TP} &=& 7\\ {\rm FP} &=& 3\\ {\rm FN} &=& 9 \end{eqnarray} $$

※ TN（＝「ライオンじゃない」を「検出しなかった」数）はカウントアップできないことに注意！（ターゲットが不定なので）

適合率、再現率、F-値

$$ \begin{eqnarray} {\rm Precision} &=& \frac{\rm TP}{{\rm TP} + {\rm FP}} &=& 0.7\\ {\rm Recall} &=& \frac{\rm TP}{{\rm TP} + {\rm FN}} &=& 0.4375\\ {\rm F}_1 &=& \frac{2{\rm TP}}{2{\rm TP} + {\rm FP} + {\rm FN}} &=& 0.538461\dots\\ \end{eqnarray} $$

Point

• TN が算出できないので、正解率（Accuracy）は計算できない。
• でも（TNが計算に関係しない）適合率・再現率・F-値 は計算できる（これらだけで十分！）

※（再）検出タスクでは、TNはカウントアップできないことに注意！（ターゲットが不定なので）

ここで、先ほどまでと少し違う観点のお話をします。

※私たちはまだライオンがウヨウヨいるサバンナにいます。

• Q. あなたがしたいことは、どちらに近いですか？
  • A1. できる限り安全にここを抜け出したい。
  • A2. 多少のケガは覚悟でとにかくここを抜け出したい。

A1. できる限り安全にここを抜け出したい。

（＝「ここにはライオンいない」という箇所を見付けて確実に少しずつ歩いて行けば良さげ？）

＝ 「大丈夫だと思ったところにライオンがいた！」という状況には遭いたくない。

＝ 「ライオンを見つけ出す」という作業に対して 漏れ（＝検出漏れ）を少なくしたい。

↓

• 銃を持っていて、銃弾が十分にあれば、とにかく あらゆる方向に撃ちまくれば良い。
  • 外れ弾（ライオン以外を撃ってしまう）は多くなるかもしれない。
  • 撃ち漏らし （ライオンを撃ち損なう）はきっと少なくなる！

↑

• 外れ弾（＝FP）が多くなる ＝ 適合率 が下がる。
• 撃ち漏らし （＝FN）が少なくなる ＝ 再現率 が上がる！

「できる限り安全に！」⇔「再現率を上げろ！」

A2. 多少のケガは覚悟で、とにかくここを抜け出したい。

（＝「とにかく方向決めてまっすぐ突っ切る」ことでこの場を抜け出せば良さげ？）

＝ 「気がついたら目の前にライオンがいた！」という状況だけには遭いたくない。

＝ 「ライオンを見つけ出す」という 見極め だけはしっかりしたい。

↓

• 銃を持っているなら、例えば進む方向を決めて、その方向にいるライオンだけを確実に撃てば良い。
  • 撃ち漏らし （ライオンを撃ち損なう）は多くなるかもしれない。
  • 外れ弾（ライオン以外を撃ってしまう）はきっと少なくなる！

※「撃ち漏らし」が多くなる理由：だって進行方向のライオンしか狙ってないですから。横や背後のライオン気にしてないですから。

↑

• 撃ち漏らし （＝FN）が多くなる ＝ 再現率 が下がる。
• 外れ弾（＝FP）が少なくなる ＝ 適合率 が上がる！

「多少の危険は覚悟で！」⇔「適合率を上げろ！」

まとめ

まとめ1: エンジニアの皆さんへ

• 「精度を上げよう」と考えたとき、適合率 や 再現率（および F-値）を気にするようにしましょう。
  （場合によってはそもそも 正解率 を算出できない）
• 「適合率を上げるにはどうすれば良いか」「再現率を上げるにはどうすれば良いか」のノウハウ・実績を積みましょう。

※ここでいう「エンジニア」は、機械学習で実際にモデルを構築するお仕事をする人たちを想定しています。

まとめ2: クライアントの皆さんへ

• 自分が欲している「精度」が、適合率 なのか 再現率 なのかを把握しましょう。
  （さきほどの「ライオンのサバンナ」のメタファーを思い出しましょう）
• そしてそれを エンジニアに明確に伝える ようにしましょう（重要）。

※ここでいう「クライアント」は、エンジニアに機械学習で認識や検出等のお仕事を依頼する方々を想定しています。

まとめ3

• 適合率、再現率 を、エンジニア・クライアント の共通概念にしましょう。

おしまい

ご清聴ありがとうございました。

from IPython.core.display import HTML
HTML(r"""<style>
.reveal>.state-background,.reveal>.backgrounds>.slide-background{background-color:#ebfeff}
.reveal .rendered_html pre,.reveal .rendered_html code{background-color:#eee}
.reveal .rendered_html table, .reveal .rendered_html blockquote{background-color:#f8ffff}
.reveal .rendered_html h1,.reveal .rendered_html h2,.reveal .rendered_html h3,.reveal .rendered_html h4,.reveal .rendered_html strong{color:#0f7c80}
</style>""")

おまけ

シチュエーションその4

というか、シチュエーションその3＋α

• サバンナの湿地帯に迷い込んだ。ライオンとワニが隠れている。
• ライオンもワニもいっぱいいるが、全部で何頭/何匹いるかは分からない。
• ライオンもワニも見つけ出したい（見つけたライオンやワニを避けて通り過ぎたい）。

もうお分かりですね？

※そう。「多クラス分類」の指標（の計算方法）を「検出」に応用すれば良い。それだけ。
※もちろん「検出」なので TN は計算できません。つまり 平均適合率、平均再現率、平均F-値だけ、ということ。
※ということで、混同行列その他は宿題にして、ここでは省略。

おしまい

※今度こそ本当におしまい。