ResNet ── 152層を学習させた「近道」の発明

ResNet（Residual Network、残差ネットワーク）は、Microsoft Research の Kaiming He、Xiangyu Zhang、Shaoqing Ren、Jian Sun が2015年に提案した深層ニューラルネットワークである。論文「Deep Residual Learning for Image Recognition」は2015年12月10日に arXiv に投稿され、同じ日に Microsoft は、画像認識の競技会 ILSVRC 2015 で出場した分類・位置特定・物体検出の3部門すべてで1位になったと発表した。核になる工夫は、数層ごとに入力をそのまま出力へ足し戻す「近道」で、これによって当時としては非常に深い152層のネットワークを訓練できるようにした。

一言で言えば、ResNet は「深くすればもっと良くなるはずなのに、実際には悪くなる」という壁を越える方法を示した論文である。その発想は画像認識の外にも広がり、のちの翻訳モデルや Transformer にまで受け継がれた。

深くすると悪くなる ── 劣化問題

2012年の AlexNet 以降、ImageNet での好成績は層を深くしたネットワークがもたらしてきた。論文は、当時の上位手法が16層から30層の「非常に深い」モデルを使っていたと書く。では、層をただ積み増せばもっと良くなるのか。

論文が示した答えは否である。層を増やすと精度はまず頭打ちになり、さらに増やすと急に悪化する。しかもこの悪化は過学習によるものではなかった。訓練データに対する誤差まで上がったのである。論文の図1では、CIFAR-10 で普通に積んだ56層のネットワークの訓練誤差と検証誤差が、どちらも20層のものより高い。著者らはこれを劣化問題（degradation problem）と呼び、深いネットワークほど最適化が難しくなることの表れだとした。

理屈の上では、深いモデルは浅いモデル以上に悪くなるはずがない。浅いモデルの上に「何もしない層」（恒等写像）を足せば、同じ性能のより深いモデルが作れるからだ。それなのに実際の訓練では、その解すら見つけられなかった。

残差学習 ── 差分だけを学ばせる

そこで He らは、層の組に目標の関数そのものではなく、入力との差分（残差）を学習させることにした。ブロックの出力は「層が計算したもの＋入力そのもの」になる。入力を迂回させて足し戻す経路をショートカット接続と呼ぶ。恒等写像が最適なら、層は出力をゼロに近づけるだけでよい。何もしない層を一から学ばせるよりずっと易しい、というのが著者らの見立てだった。

入力をそのまま渡す恒等写像のショートカットは、追加のパラメータも計算量も増やさない。これにより、層の数を大きく増やしても訓練がうまく進むようになった。

ILSVRC 2015 と COCO 2015 ── 5部門で1位

ILSVRC の公式結果によると、MSRA（Microsoft Research Asia）のチームは提供データだけを使う部門で次の成績を残した。

位置特定と検出では大差だったが、分類での次点との差は0.014ポイントにすぎない。分類だけを見れば ResNet の勝利は僅差であり、この研究の価値は順位より、深さの壁を越える一般的な方法を示した点にあった。チームは同時期の COCO 2015 でも物体検出と領域分割で1位を取っている。

Microsoft の AI ブログは発表当日、北京の研究所でこのプロジェクトを率いた Jian Sun の言葉を伝えている。「この1つのアイデアがこれほど重要だとは、私たち自身も信じていなかった」という趣旨である。同社の研究部門の幹部 Peter Lee は、深層ニューラルネットワークの働きについて自分が置いていた前提のいくつかが崩れた、と語った。論文は2016年6月の CVPR 2016 で最優秀論文賞を受けた。

誰に何をもたらしたか

同じブログは、この成果をすでに開発者向けの画像・音声認識サービス Microsoft Project Oxford の改良に使っていると書いた。精度は人間の水準に並び、ときに上回ると同社は主張している。ただし同じ記事の中で研究者自身が、これはコンピュータが一般的な意味で人間より賢くなったことを意味せず、データベースの画像を見分けるような狭い課題が非常に得意になったことを示すにすぎない、と断っている。

影響がはっきり表れたのは研究の側だった。2016年9月に Google が発表したニューラル機械翻訳のシステムは、8層の LSTM を積むために層の間に残差接続を入れ、ResNet の論文を引いている。2017年の Transformer は、エンコーダとデコーダのすべてのサブ層の周りに残差接続を置き、やはり ResNet の論文を出典に挙げた。現在の大規模言語モデルの多くはこの Transformer の系譜にある。

引用の数にもそれは表れている。香港中文大学の紹介記事によれば、2025年の Nature の集計で、この論文は21世紀に発表された論文のうち最も多く引用されたものとされた。

画像認識の競技会そのものの流れは ImageNet データセット と AlexNet のページに、AI 全体の流れは AI の年表 にある。Microsoft の研究部門の歩みは組織のページを参照。