AlphaZero ── ルールだけから将棋・チェス・囲碁を極めた自己対局 AI

AlphaZero は、DeepMind が開発した、ゲームの規則以外の知識を一切与えられず、自己対局による 強化学習 だけでチェス・将棋・囲碁を学ぶ単一のアルゴリズムである。論文「Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm」は2017年12月5日に arXiv に公開され、チェスの Stockfish、将棋の Elmo、囲碁の AlphaGo Zero という各分野の最強プログラムに勝ったと報告した。対戦条件をめぐる批判を経て、完全な評価は2018年12月7日の Science（第362巻6419号、1140〜1144ページ）に掲載された。

囲碁で李世乭に勝った AlphaGo と、人間の棋譜を使わない AlphaGo Zero の経緯はそちらのページにある。AlphaZero の新しさは、同じ方法、同じネットワーク構成、同じハイパーパラメータで、性質の違う3つのゲームを学んだ点にある。

何が新しかったのか

プレプリントの要旨によれば、従来の最強のチェス・プログラムは、高度な探索技法、領域固有の調整、そして人間の専門家が数十年かけて磨いた手作りの評価関数の組み合わせでできていた。将棋のプログラムも、同様に高度に最適化されたアルファベータ探索を核にしていた。

AlphaZero はこれらを、局面を入力として指し手の確率と局面の評価を出す深層 ニューラルネットワーク と、汎用のモンテカルロ木探索に置き換えた。ネットワークはランダムな重みから始まり、自分自身との対局の結果だけから学ぶ。AlphaGo Zero が勝ち負けの二値を前提にしていたのに対し、AlphaZero は引き分けを含む期待値を最適化する。チェスも将棋も引き分けがありうるゲームだからである。

探索の性格も対照的だった。プレプリントによれば、AlphaZero が1秒に読む局面はチェスで8万、将棋で4万にすぎず、Stockfish の7000万、Elmo の3500万を大きく下回る。論文は、ネットワークで有望な変化に絞り込むこの探索を、Claude Shannon が提案した「より人間らしい」探索に近いと述べている。

2017年12月のプレプリント

学習は各ゲームで別々に行い、70万ステップ（1ステップ4,096局面のミニバッチ）、自己対局の生成に第1世代 TPU 5,000基、ネットワークの訓練に第2世代 TPU 64基を使った。プレプリントによれば、チェスでは4時間で Stockfish を、将棋では2時間未満で Elmo を、囲碁では8時間で李世乭と対戦した版の AlphaGo を上回った。

対局では、AlphaZero と AlphaGo Zero が TPU 4基の1台の機械を使い、Stockfish と Elmo は64スレッド、ハッシュ表1GB で最強設定とされた。

対戦条件をめぐる論争

結果は大きな話題になったが、条件には批判が出た。Chess.com は2017年12月8日、Stockfish の原作者の一人 Tord Romstad のコメントを全文掲載している。Romstad は、1手1分の固定持ち時間では、重要な局面に時間を多く割くという Stockfish の時間管理の工夫が使えず、強さが大きく落ちると指摘した。使われた版は1年前のもので、ほとんど試験されていない多数のスレッドで動き、スレッド数に対してハッシュ表が小さすぎたとも述べ、通常の条件なら引き分けの割合はずっと高かったはずだとした。

一方で Romstad は、AlphaZero ももっと作り込めばより強くなったはずだとし、学習時間の「4時間」は投入した膨大なハードウェアを考えると誤解を招くと付け加えた。そのうえで、一般の計算機で動く従来型のプログラムと、市販されていない専用ハードウェア上の根本的に異なる手法を比べるのは "apples to orangutans" だと評している。

2018年の Science 論文

1年後の完全な評価では条件が改められた。DeepMind の解説によれば、すべての対局は1局3時間・1手ごとに15秒加算で行い、Stockfish と Elmo は TCEC 世界選手権と同じく44 CPU コアを、AlphaZero と AlphaGo Zero は第1世代 TPU 4基と44 CPU コアを備えた1台の機械を使った。

DeepMind は、人間の代表的な序盤から始めた対局、TCEC の開始局面を使った対局、最新の開発版 Stockfish や強力な定跡を持つ Stockfish との対局でも、すべて AlphaZero が勝ったとしている。学習に要した時間はおよそチェス9時間、将棋12時間、囲碁13日と説明された。なお、Elmo を上回るまでの時間（2時間）や、李世乭と対戦した版の AlphaGo を上回るまでの時間（30時間）など、2017年のプレプリントと2018年の解説では数字が異なる箇所がある。

棋士と開発者にとっての意味

DeepMind の解説は、将棋の羽生善治のコメントを紹介している。玉を盤の中央へ進めるような、将棋の定跡に反し人間の目には危うく見える手を指しながら、AlphaZero は主導権を保ち続けるという。羽生はその独特の棋風に、ゲームの新しい可能性を見たと述べた。チェスの元世界王者 Garry Kasparov も、自己学習する機械は強いだけでなく、それが生み出す新しい知識から人間が学べると語っている。チェスのグランドマスター Matthew Sadler と女子インターナショナルマスター Natasha Regan は、AlphaZero の対局を分析した書籍『Game Changer』（New in Chess、2019年1月）を出した。

一方で Romstad は、別の影響も指摘していた。大量のハードウェア資源を必要とする機械学習の手法が台頭することは、チェス・エンジンの開発者にとって、そして他の多くの分野のプログラマーにとっても少し気の滅入ることだという。いずれ AlphaZero 型のプログラムが普通の計算機で動くようになっても、それを「作る」ための資源は趣味の開発者や平均的な規模の企業の予算をはるかに超え、それぞれ個性を持つ数百のエンジンが並ぶ時代は終わるだろう、と。強い AI を作れる者が計算資源を持つ一部の組織に限られていくという、その後の生成 AI の時代にも続く構図が、ここで早くも言葉にされている。

DeepMind の歩みは DeepMind と Demis Hassabis のページに、1997年に Kasparov を破った機械は Deep Blue のページにある。AI 全体の流れは AI の年表 にある。