※英語資料からの引用は、PIMOAが日本語に訳しています。
2012年の秋、画像認識の国際コンテスト「ILSVRC」の結果が発表されました。写真に写っているものを、1000種類の候補から言い当てる競技です。AIは答えを5つまで挙げてよく、その中に正解が入っていなければ「誤り」と数えます。
1位のチーム「SuperVision」の誤り率は15.3%。2位のチーム「ISI」は26.2%でした。SuperVisionは、主催者が配った学習用データだけを使った提出でも16.4%で、やはり2位を大きく引き離しています。
公式サイトに残る両チームの手法の説明を読み比べると、大きな違いが一つ見えてきます。
ISIは、研究者たちが考案してきた方法(SIFTやGISTなど)で、画像から「特徴」を取り出していました。画像のどんな模様や明暗の変化に注目すればよいかは、人間の知恵で設計された道具が決め、機械はその特徴をもとに分類のしかたを学んでいました。
SuperVisionの説明は、こうです。
生のRGB画素値で学習した、大きく深い畳み込みニューラルネットワーク(筆者訳)
SuperVisionは、多層のニューラルネットワークを使い、画像の点の色の値から、分類に役立つ特徴と分類のしかたの両方を学ばせました。こうした多層のニューラルネットワークを使う方式が「ディープラーニング(深層学習)」です。この大会では、人が設計した画像特徴を使う方式との違いが、はっきり表れました。
もちろん、大差を生んだのはこの違いだけではありません。GPUを使った計算の高速化や学習方法の工夫もあり、15.3%という結果には追加の学習データも使われています。それでも、この大会は、ディープラーニングが大きく注目されるきっかけの一つになりました。
「機械学習とディープラーニングは何が違うのか」。この記事では、この大会で見えた違い、人が設計した画像特徴を使う方式と、特徴の取り出し方も学ぶディープラーニングの違いから説明します。そして、その違いが、AIの精度の数字を見るときに何を意味するのかまでつなげます。
ディープラーニングは、機械学習の「中」にある
まず、よくある誤解から整理します。ディープラーニングは、機械学習の「次」に来た別の技術ではありません。機械学習の一種です。
機械学習は、判断のしかたを人がルールとして書くのではなく、データから機械に学ばせる考え方の総称です。IBMの歴史紹介によると、この言葉を使ったのは、チェッカー(西洋のボードゲーム)のプログラムに過去の対局から学ぶ仕組みを持たせたアーサー・サミュエルで、そのプログラムは1962年、チェッカーの名手を自称する人物に勝っています。
それ以前から、そして1980年代にも、AIの主流の一つは「もし〇〇なら△△」というルールを人が書き込む方式でした。ルールを書き、直し続ける苦労は「AIは役に立った。それでも『冬』は来た」で紹介しています。
その機械学習の中に、いろいろな方式があります。ディープラーニングは、ニューラルネットワークと呼ばれる仕組みを何層にも重ね(この層の深さが「ディープ」の由来です)、データから分類のしかただけでなく特徴の取り出し方も学ぶ方式です。
| 特徴の取り出し方 | 分類のしかた | |
|---|---|---|
| ルールを人が書く方式 | 人が決める | 人が書く |
| 人が特徴を設計する機械学習(2012年のISIなど) | 人が設計する | 機械が学ぶ |
| ディープラーニング(2012年のSuperVisionなど) | 機械が学ぶ | 機械が学ぶ |
ただし、この表は違いをつかむための整理です。ディープラーニングでも、何を入力にするか、ネットワークをどんな形にするかは人が設計しますし、ディープラーニング以外にも特徴を学ぶ方法はあります。
「どの項目を渡すか」は、人の仕事になる
人が特徴を設計する機械学習は、画像以外でも、幅広い仕事で使われてきました。
たとえば、顧客の離反を予測する場合です。担当者は「最後に購入してからの日数」「問い合わせの回数」「購入金額の推移」といった項目を選び、表に整えて機械に渡します。機械は、渡された項目と過去の離反の結果から、離反を予測するための関係や条件を学びます。項目の重みを調整する方式もあれば、複数の項目を組み合わせて判断する方式もあります。
どの項目を渡すかは、予測の質を大きく左右します。もし「担当の営業が変わった」ことが離反に強く関係していても、それを記録していなければ、その影響を直接学ぶことはできません。購入や問い合わせの変化から、間接的に兆しを拾える可能性はありますが、何を表に入れるかを考えるのは人の仕事です。
画像では、この「項目を選ぶ」仕事がとりわけ難しいものでした。写真の中の何が「犬」らしさで、何が「車」らしさなのか。人はふだん一瞬で見分けているのに、それを手順として書き出すのは簡単ではありません。SIFTやGISTは、研究者がその難題に取り組んできた成果でした。
特徴も学ぶと、何が変わったか
ディープラーニングは、この難しい部分を、大量のデータと計算で引き受けました。SuperVisionの論文では、前々年の大会(LSVRC-2010)の学習用画像130万枚を1000種類に分類する実験を報告しています。調整する数値(パラメータ)は6000万に及び、論文は、GPUで計算を速くしたことを工夫の一つに挙げています。
同じ2012年の6月には、Googleがもう一つ印象的な結果を発表しています。1万6000のCPUコアを使い、YouTube動画から切り出した大量の静止画を、ラベル(「これは猫」といった答え)を付けずに学ばせました。すると、ネットワークの中のある人工ニューロンが、猫の画像に強く反応するようになったのです。Googleのブログはこう書いています。
このネットワークは、猫が何かを一度も教えられておらず、猫とラベル付けされた画像を1枚も与えられていなかった。(筆者訳)
人が「猫を見分けるには耳の形を見よ」と指定しなくても、猫の画像に強く反応する特徴が学習された、ということです。ただし、これは機械が「猫」という言葉の意味まで理解したことを示すものではありません。
特徴を人が書き出さなくてよくなったことで、AIは「人が手順として書き出しにくい違い」を扱えるようになりました。今のChatGPTやClaudeのような生成AIも、多層のニューラルネットワークで大量の文章から学ぶ、ディープラーニングの延長線上にあります(そこに至る流れは「生成AIはいつから始まった?知っておきたいAIの歴史ダイジェスト」で紹介しています)。
一方で、AIが何を手がかりに答えているのかは、外から見えにくくなりました。
正解への「近道」まで、学んでしまう
2018年、医学誌PLOS Medicineに、その難しさを示す研究が載りました。研究チームは、胸部X線写真から肺炎を見つけるディープラーニングのモデルを、アメリカの3つの医療機関(NIH=アメリカ国立衛生研究所、マウントサイナイ病院、インディアナ大学)の写真で調べました。
研究チームは別途、写真の撮影元の病院を見分けるモデルも学習させています。このモデルは、NIHの写真の99.95%、マウントサイナイ病院の写真の99.98%で、撮影元を正しく言い当てました。手がかりの中には、写真の左右を示すために写し込まれる金属のマーカーも含まれていました。病院ごとに、写り方に特徴があったのです。
病院がわかると、何が起きるのか。データに含まれる肺炎の割合は、マウントサイナイ病院では34.2%、NIHでは1.2%と、大きく違っていました。NIHとマウントサイナイの画像を混ぜた評価データでは、病院ごとの肺炎の割合だけで画像に点数を付けても、AUCは0.861になりました。AUCは正答率とは別の指標で、肺炎ありの画像を肺炎なしの画像より上に順位付けできるかを見るものです(1に近いほど良く、0.5なら当てずっぽうと同じ)。肺の異常を見なくても、撮影元の違いだけで、評価の上では高い成績が出てしまうのです。
2つの病院の写真で学んだ肺炎検出モデルは、学習には使っていない同じ2病院の検証用画像で、AUC0.931という高い成績を出しました。ところが、3つ目の病院(インディアナ大学)の写真では、0.815に下がっています。
これは、ディープラーニングだけで起きる問題ではありません。人が選んだ特徴でも、データにたまたま含まれる偏りを拾うことはあります。問題の根は、学習データの偏りと、成績を測るデータの選び方にあります。ただ、特徴まで機械が学ぶ方式では、何を拾ったのかが外から見えにくい。そして、同じ病院の画像で測っている限り、高い成績が出ても、別の病院で通用するかはわからないのです。
精度の数字を聞いたら、どこで測ったかを聞く
これは、中小企業がAIを導入するときにも、そのまま当てはまります。
たとえば、次のような導入場面を考えてみてください(ここで挙げる数字は説明用の仮定です)。伝票を読み取るAIの説明で「読み取り精度99%」と聞き、デモでもきれいに読めた。ところが、自社の伝票は複写式で文字が薄く、欄外の書き込みも多かった――。精度の数字が、デモや説明に使われたデータで測ったものなら、自社の伝票で同じ精度が出るとは限りません。
AIの製品やシステムの説明で精度の数字を聞いたら、次の4つを確かめてください。
- その精度は、どんなデータで測ったものか。学習に使ったデータと同じ出どころか、別の場所・別の時期のデータか
- そのデータと自社のデータは、どこが違うか(書式、撮影機材、紙の質、地域、顧客層など)
- 「99%」は何に対する割合か。文字1つずつの正しさか、伝票1枚の全項目がそろって正しい割合か
- 自社の実際のデータで、まとまった数を試したか。そのとき、精度は説明どおりだったか
肺炎の研究でも、成績が落ちることがわかったのは、3つ目の病院で試したからでした。
2012年の大会では、全チームが同じ評価用の画像で比べられ、SuperVisionが勝ちました。導入の判断でも同じです。候補のAIに自社の伝票を読ませ、直さなければならない箇所まで比べてください。大会の勝者が、自社の現場でも勝つとは限りません。
参考文献・資料
ImageNet Large Scale Visual Recognition Challenge 2012 (ILSVRC2012) Results
Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton "ImageNet Classification with Deep Convolutional Neural Networks"(NIPS 2012)
Google "Using large-scale brain simulations for machine learning and A.I."(2012年6月26日)
IBM "Early games"(IBMの歴史)
John R. Zech ほか "Variable generalization performance of a deep learning model to detect pneumonia in chest radiographs: A cross-sectional study"(PLOS Medicine、2018年)