Geoffrey Hinton、Google を退社して AI の危険性を警告

2023年5月1日、 New York Times に Cade Metz による「Godfather of AI」のインタビュー記事が掲載された。 タイトルは "'The Godfather of A.I.' Leaves Google and Warns of Danger Ahead"（『AI のゴッドファーザー』 が Google を退社、 これからの危険を警告）。

Geoffrey Hinton、 75歳。 10年以上に及ぶ Google 在籍を辞したうえでの発言だった。 取材はその前週、 Toronto の自宅の食堂で行われている ── 記事の言い方では「彼と学生たちがあのブレークスルーを起こした場所から、 歩いてすぐ」の家である。

決別として読まれた記事と、 本人の訂正

順序が重要である。 ここが広く誤って伝えられたからだ。 Hinton は2023年3月の「フロンティアモデルの学習を6か月停止せよ」という公開書簡に署名していない。 その数日後に AAAI の現・元幹部19名が出した書簡にも署名していない。 NYT には「職を辞するまでは Google や他社を公に批判したくなかった」と語っている。 Google への通知は4月、 Alphabet CEO の Sundar Pichai と電話で話したのは4月27日（木）で、 その内容については語ることを拒んだ。

それでも NYT の記事は、 古巣との決別のように読まれた。 これを訂正したのは Hinton 本人である。 翌日、 Twitter にこう投稿した ──「Google への影響を気にせず AI の危険性について語れるように辞めたのだ（I left so that I could talk about the dangers of AI without considering how this impacts Google.）」「Google はきわめて責任ある振る舞いをしてきた（Google has acted very responsibly.）」。

Google のチーフサイエンティスト Jeff Dean は声明で応じた ──「我々は AI への責任あるアプローチに引き続きコミットしている。 大胆に革新しつつ、 新たに現れるリスクの理解を学び続けている」。

10年前の2013年、 Google は Hinton と彼の二人の学生 Alex Krizhevsky・Ilya Sutskever を、 彼らの設立した DNN Research という会社ごと買収した。 NYT が挙げた金額は4400万ドルである。 三人は AlexNet の著者だった。 Sutskever はその後 Google を離れて OpenAI のチーフサイエンティストとなり、 ChatGPT と GPT-4 の中心に立つ。 Hinton は Google に残り、 同じ技術が異なる組織で異なる速度で展開していくのを観察する立場にあった。

変わったのは危険性ではなく時期の見積もり

Hinton はニューラルネットワークに50年を費やしてきた ── 1972年に Edinburgh の大学院生としてその考えを受け入れ、 1980年代には国防総省の資金を受けたくないという理由で Carnegie Mellon を離れてカナダへ移っている。 2022年に変わったのは危険性の見積もりではなく時期の見積もりであり、 その理由は、 システムが彼の予期していなかったことをやり始めたことだった。

もしかすると、 これらのシステムの中で起きていることは、 脳の中で起きていることよりずっと優れているのかもしれない。

そして、 個別の能力ではなく外挿について。

5年前がどうで、 いまがどうかを見てみるといい。 その差を取って、 前に伸ばしてみる。 それは怖い話だ。

誤情報、 雇用、 ロボット兵士

短期 ── 誤情報の氾濫。 AI が生成する偽の写真・動画・文章がインターネットを埋め尽くし、 普通の人は「もはや何が真実か分からなくなる」。

中期 ── 雇用の喪失。 いまのチャットボットは事務労働を補完しているが、 パラリーガル・秘書・翻訳者、 そして「定型作業を扱う人々」を置き換えうる。 "It takes away the drudge work," "It might take away more than that."（「単調な作業を肩代わりしてくれる」「だが、 それ以上のものまで奪うかもしれない」）。

長期 ── 自律兵器と、 自らコードを書いて実行する系。 NYT の記述では、 Hinton は「戦場での人工知能の使用に強く反対しており、 それを『ロボット兵士（robot soldiers）』と呼ぶ」。 新しいほうの懸念はより限定的で、 より奇妙である ── 大量のデータから予期しない振る舞いを学習してしまうモデルが、 個人や企業によって「自分でコードを書くだけでなく、 そのコードを自分で実行する」ことまで許される世界。

根本的な不可逆性。 前年まで Google は技術の「まっとうな管理者（proper steward）」として振る舞っていたが、 Microsoft が Bing にチャットボットを載せた以上、 走らざるを得なくなった、 と Hinton は語る。 核兵器と違い、 どの企業・どの国が水面下で何を進めているかを検証する手段がないため、 検証を前提とする軍備管理の枠組みが取り付く先を持たない。 その分、 彼の要求は限定的だった ──「制御できるかどうかを理解するまでは、 これ以上スケールアップすべきではないと思う」。

「ありふれた言い訳で自分を慰めている」

インタビューで最も引用された一節。

I console myself with the normal excuse: If I hadn't done it, somebody else would have.

（もし私がやっていなくても、 誰かがやっていただろう ── という、 ありふれた言い訳で自分を慰めている）

二番目に引用されるのは、 彼が使うのをやめたほうの言葉である。 危険かもしれない技術になぜ取り組めるのかと問われたとき、 Hinton は長年 Robert Oppenheimer を言い換えて答えていた ──「技術的に甘美なものを見つけたら、 人はそれをやってしまう」。

「彼はもう、 そうは言わない」。

LeCun との争点

NYT は自らの記事の中に反対側も記録している ──「彼の学生や同僚を含む多くの専門家は、 この脅威は仮説的なものだと言う」。

その筆頭は同格の人物である。 Meta のチーフ AI サイエンティスト Yann LeCun は、 この一連の業績に対して ACM チューリング賞を受けた3人の「AI のゴッドファーザー」の一人であり（Hinton の受賞は2018年）、 実存的リスクの議論を一貫して退けてきた ── むしろ AI は「人類を絶滅から救いうる」というのが彼の立場である。 争点はシステムが強力かどうかではない。 能力の向上が制御の喪失を含意するかどうかである。

上方修正され続けた確率

その4週間後、 2023年5月末に、 Center for AI Safety が一文だけの声明を公開した。

AI による絶滅リスクの低減は、 パンデミックや核戦争といった他の社会規模のリスクと並ぶ、 世界的な優先事項であるべきだ。

署名者リストの筆頭が Hinton である（肩書きは Toronto 大学計算機科学名誉教授）。

彼は以後、 数字を上方修正し続けた。 2024年12月下旬、 BBC Radio 4 の Today（元財務相 Sajid Javid がゲスト編集長を務めた回）で、 AI による破局の確率をまだ10分の1と見ているかと問われ、「そうでもない、 10%から20%だ」── 今後30年以内で ── と答えている。 それは上がっているのではないかと押されると、「どちらかといえばね。 我々はこれまで、 自分たちより知能の高いものを相手にしたことがない」。 その状況の比喩はこうである ──「自分と3歳児を思い浮かべるといい。 我々のほうが3歳児だ」。 処方箋は2023年から変わっていない ──「私の心配は、 見えざる手が我々を安全に保ってはくれないということだ。 大企業の利潤動機に任せておくだけでは、 安全な開発を保証するのに足りない。 巨大企業に安全性の研究をもっとさせられる唯一のものは、 政府による規制である」。

2024年10月にはノーベル物理学賞を John Hopfield と共同受賞し、 ノーベル週間をはるかに大きな演壇として同じ主張に使った ── 2024年のノーベル賞と AI を参照。

作った本人が公に考えを変えたこと

2023年まで、 「AI のリスクを警告する」発言は、 主に外部の批評家・哲学者・倫理研究者から発せられていた。 開発の最前線にいる本人が、 巨大企業を辞してまで警鐘を鳴らすという構図は、 政府・メディア・一般読者への訴求力が違った。

2023年10月の Biden 大統領令、 2024年3月の EU AI Act、 各国の AI 安全研究所の設立 ── 一連の規制動向は Hinton 単独の影響とは言えないが、 その技術を作ったことで最もよく知られる人物が公に考えを変えたという事実が、 政治的な追い風になったのは確かだった。

2023年5月1日の NYT 記事は、 AI 規制の時代の幕を、 静かに上げた文書として記憶される。