AlexNet ── 深層学習時代の幕開け

ImageNet Large Scale Visual Recognition Challenge 2012 の投稿締切は2012年9月30日23時（GMT）だった。結果はその2週間後、フィレンツェで開催された ECCV（European Conference on Computer Vision）併設のワークショップ（10月12日）で発表され、全順位は10月13日に公開された。

分類タスクの順位表を占めたのは Toronto 大学の「SuperVision」で、ImageNet 2011年秋版を追加学習データに使った投稿がトップ5エラー率 15.3%（0.15315）、供給データのみの投稿が 16.4%（0.16422）。同チーム以外で最良だったのは東京大学の ISI チームで 26.2%（0.26172）だった。

10ポイントもの差は、画像認識ベンチマークの歴史上、ありえない開きだった。前年（2011年）の優勝 XRCE のエラーは 25.8%（0.25770）。それを、博士課程学生2人と指導教官1人のチームが一年で半分近くに削った。

しかも、彼らが使った手法は、当時の画像認識の主流から外れて久しかったニューラルネットワークだった。

三人のチーム

• Alex Krizhevsky ── 当時の博士課程学生。アーキテクチャの実装と、GPU 上で動かすための CUDA カーネルを書いた。
• Ilya Sutskever ── 同じく博士課程学生。後に OpenAI の共同創業者、Chief Scientist となる人物。
• Geoffrey Hinton ── 二人の指導教官。1970年代からニューラルネット研究を続け、第二次 AI 冬を「ニューラルネット派」として耐え抜いた数少ない一人。

Computer History Museum（CHM）が記録した経緯によれば、2011年に「ImageNet でニューラルネットを学習させよう」と Krizhevsky を説得したのは Sutskever だった。彼は、ネットワークの性能は利用できるデータ量に応じて伸びると考えており、Fei-Fei Li が2009年に完成させた ImageNet は、それ以前のどの画像データセットより桁違いに大きかった。Hinton 自身が後年 CHM に語った一文の要約はこうである ── "Ilya thought we should do it, Alex made it work, and I got the Nobel Prize."（「Ilya がやろうと言い、Alex がそれを動かし、私がノーベル賞をもらった」）。

論文の題は「ImageNet Classification with Deep Convolutional Neural Networks」であり、競技への投稿チーム名は「SuperVision」だった。筆頭著者の名を取った「AlexNet」という通称は、後からコミュニティが付けたものである。

ネットワークの中身

学習される層は8つ ──畳み込み5層、全結合3層、最後は1000クラスの softmax。パラメータ約6000万、ニューロン約65万。入力は 256×256 に縮小した画像から切り出した 224×224×3 のクロップで、前処理は訓練集合全体の画素平均を引くことだけ。論文の言い方では「（中心化した）生の RGB 値」で学習している。

AlexNet 以前、画像認識は「特徴量設計の芸術」だった。SIFT、HOG、SURF ── 角・輝度勾配・テクスチャを取り出すアルゴリズムを人間が手で設計し、SVM などの分類器に入力する。論文1本で最も時間を食うのは特徴量の試行錯誤だった。AlexNet が示した代案は、特徴量の設計自体をネットワークに学習させることである。ILSVRC の約120万枚のラベル付き訓練画像で、端から端まで学習させる。

論文は自らの新規性を重要度順に並べており、その順序自体が示唆的である。

1. ReLU。 飽和する tanh(x) やシグモイドではなく f(x) = max(0, x) を使う。Nair と Hinton に倣って Rectified Linear Unit と呼ぶ。図1は、4層の CNN が CIFAR-10 で訓練エラー25%に到達するまでの時間が、同じネットワークの tanh 版に比べ6倍速いことを示す。著者らは、これがなければ「この規模のニューラルネットワークで実験すること自体ができなかっただろう」と断言している。

2. 二枚の GPU。 後述するが、論文自身の序列では二番目に重要な項目である。

3. 局所応答正規化（LRN）。 隣接するカーネルマップ間の側抑制。

4. ドロップアウト。 全結合2層の各隠れニューロンの出力を、訓練時に確率0.5で0にする。入力のたびに、重みを共有する別々のアーキテクチャを標本抽出しているに等しい。テスト時は全ニューロンを使い、出力を0.5倍する。訓練時間はおよそ2倍になるが、6000万パラメータのネットワークが切実に必要とするアンサンブル効果が得られる。

データ拡張は平行移動・鏡像反転に加え、RGB 強度を主成分方向に揺らす操作を含み、後者だけでトップ1エラーを「1%以上」下げている。そして深さは飾りではなかった ──「それぞれモデルのパラメータの1%以下しか持たない」畳み込み層を1つでも取り除くと、性能は落ちた。

二枚の GPU、そしてそれが制約だった理由

GPU は普通「AlexNet を速くしたもの」として語られる。論文の中では、AlexNet の形を決めたものである。

「GTX 580 一枚のメモリは3GB しかなく、これが学習可能なネットワークの最大サイズを制限する」。設計上の好みではなくこの上限が、ネットワークを2枚に分割した理由だった。分割方式はカーネルの半分ずつを各 GPU に置き、特定の層でだけ通信させる ── 第3層は第2層の全カーネルマップを読むが、第4層は同じ GPU 上の第3層マップしか読まない ── ことで、GPU 間通信量を計算量に対して調整できるようにした。畳み込み層あたりのカーネル数が半分の1 GPU 版と比較して、この分割はトップ1・トップ5エラーをそれぞれ1.7ポイント・1.2ポイント下げ、学習時間もわずかに短かった。

学習は120万枚を約90周し、NVIDIA GTX 580（3GB）2枚で5〜6日かかった。民生のゲーム用ハードウェアである。学習率は0.01から始め、検証エラーが改善しなくなるたびに10分の1にし、終了までに3回下げている。CUDA による畳み込み実装は論文と同時に公開された。

何を置き換えたのかは、テストラベルが公開されていた ILSVRC-2010 についての論文自身の比較表に表れている。

GPU を用いた深層学習が大規模ベンチマークを制した最初の例として、AlexNet は NVIDIA という会社の運命も変えた。2012年以降、NVIDIA は「ゲーム用 GPU メーカー」から「AI 計算インフラの中核企業」へ軸足を移していく。2024年6月18日には、時価総額が一時世界首位に立った。

引用のその後

2025年のソースコード公開に際して、Jeff Dean はこの論文を「史上最も引用された論文の一つ」と呼んだ。実際の計数もそれを裏づける。Semantic Scholar の記録では、2026年8月9日時点で被引用 130,683件、うち13,428件が influential に分類されている。著者ら自身の枠組みでは「既存のアイデアを新しい規模で組み合わせた」にすぎない会議論文としては、異例の後半生である。

13年後のソースコード

2025年3月20日、Computer History Museum は Google と共同で、AlexNet のソースコードを公開・長期保存した。Sutskever の提案を受けた Krizhevsky が、NVIDIA カード2枚を積んだ計算機の上で、その後の1年をかけて改良し再学習させ続けたコードである。公開にこぎつけるまで、David Bieber が率いる Google のチームが CHM と5年かけて作業した。

CHM の公開文にはこうある ──「AlexNet 以前、ニューラルネットワークを使う機械学習研究者はごく少数だった。以後、ほとんど全員が使うようになった」。

第三次の幕開け

AI の歴史には、二度の「冬」と、その間の二度の「夏」があった。第一次（1956-70年代）、第二次（1980年代エキスパートシステム）。

AlexNet が始めたのは、第三の夏 ──「深層学習の時代」だった。それは、それまでの夏と違って、十年以上経った2026年現在もまだ続いている、初めての持続的なブームでもある。