AlexNet ── 深層学習時代の幕開け

2012年9月30日、フィレンツェで開催された ECCV（European Conference on Computer Vision）の併設ワークショップで、ImageNet Large Scale Visual Recognition Challenge 2012 の結果が発表された。

順位表のトップは、Toronto 大学 ── トップ5エラー率 15.3%。 2位 ── 東京大学のチーム ── 26.2%。

10ポイントもの差は、画像認識ベンチマークの歴史上、ありえない開きだった。前年（2011年）の優勝チームのエラー率は 25.8%。それを大学院生3人のチームが、一年で半分近くに削った。

しかも、彼らが使った手法は ── 当時の画像認識の専門家のほとんどが「もはや実用にならない」と見限っていた、ニューラルネットワークだった。

三人のチーム

論文の著者は3名。

• Alex Krizhevsky ── 当時の博士課程学生。アーキテクチャの実装、GPU の最適化、CUDA のコード、すべてを書いた。
• Ilya Sutskever ── 同じく博士課程学生。後に OpenAI の共同創業者、Chief Scientist となる人物。
• Geoffrey Hinton ── 二人の指導教官。すでに30年近くニューラルネット研究を続けてきていたが、第二次 AI 冬を「ニューラルネット派」として耐え抜いた数少ない一人。

論文は本人たちが「AlexNet」と呼んだわけではない。「ImageNet Classification with Deep Convolutional Neural Networks」というタイトルだった。論文の引用順位を上げるために、コミュニティが筆頭著者の名を取って「AlexNet」と呼ぶようになった。

何が変わったか

AlexNet 以前、画像認識は「特徴量設計の芸術」だった。SIFT、HOG、SURF ── 画像から「角」「輝度勾配」「テクスチャ」を取り出すアルゴリズムを、人間が手で設計し、それを SVM などの分類器に入力する、というパイプラインが主流だった。論文1本書くのに、最も時間がかかるのは、特徴量設計の試行錯誤だった。

AlexNet が示したのは、特徴量設計を全部、ネットワーク自身に学習させるという発想だった。畳み込み層を5層、全結合層を3層、合計約6000万パラメータ。ImageNet の130万枚の画像で、最後まで学習させる。手で書いた特徴量は1つもない。

二枚の GPU

論文が示したもう一つの重要な事実は、現実的な計算資源で、それが可能になっていたということだった。

当時の標準的な手法では、AlexNet の規模のネットワークを CPU で学習するには、現実的でない時間がかかった。著者らは NVIDIA GTX 580 という当時の高級ゲーム用 GPU を2枚用いて、自前の CUDA カーネルでネットワークを GPU 二枚に分割して並列実行する実装を書いた。

結果として、6日間で学習が完了した。

GPU を使った深層学習の最初の大規模成果として、AlexNet は NVIDIA という会社の運命をも変えることになる。ImageNet 2012 から、NVIDIA は「ゲーム用 GPU メーカー」から「AI 計算インフラの中核企業」へと、軸足を移しはじめた。十年後の2024年、NVIDIA の時価総額は世界二位になっている。

第三次の幕開け

AI の歴史には、二度の「冬」と、その間の二度の「夏」があった。第一次（1956-70年代）、第二次（1980年代エキスパートシステム）。

AlexNet が始めたのは、第三の夏 ── 「深層学習の時代」だった。それは、それまでの夏と違って、十年以上経った2026年現在もまだ続いている、初めての持続的なブームでもある。