AI 開発一時停止の公開書簡 ── GPT-4 超えの学習を6か月止めよ

AI 開発の一時停止を求める公開書簡（Pause Giant AI Experiments: An Open Letter）は、米国の非営利団体 Future of Life Institute（FLI）が2023年3月22日付で公開した書簡である。すべての AI 研究所に対し、GPT-4 より強力な AI システムの学習を少なくとも6か月、直ちに停止するよう求めた。GPT-4 の発表から8日後の日付で、署名者には Elon Musk、Steve Wozniak、Yoshua Bengio らが名を連ねた。広く報じられたのは3月末で、批判側の声明は公表日を3月28日（火）としている。FLI のページでは、2026年10月17日時点の署名数は31,810である。

結論から言えば、停止は起きなかった。それでも書簡は、AI の危険を誰が、どの時間軸で語るのかという論争を一気に表に出し、同じ年に続く政府の動きの前振りになった。

書簡が求めたこと

書簡の中心の一文は次のとおりである。

We call on all AI labs to immediately pause for at least 6 months the training of AI systems more powerful than GPT-4.

（すべての AI 研究所に対し、GPT-4 より強力な AI システムの学習を少なくとも6か月、直ちに停止するよう求める）

停止は公開かつ検証可能で、主要な関係者すべてを含むものとされ、すぐに実現できないなら政府が介入してモラトリアムを設けるべきだと書かれている。停止期間中には、研究所と独立の専門家が共同で安全手順を作り、外部の専門家による監査を受けるべきだとした。これは AI 開発全般の停止ではなく、予測不能なブラックボックス型モデルの大型化競争から一歩引くことだ、という但し書きも付いている。

書簡は社会への影響を、問いの形で並べている。情報の流れをプロパガンダと虚偽で満たさせてよいのか、充実した仕事も含めてすべての仕事を自動化してよいのか、人間を数で上回り置き換えうる非人間の知性を作ってよいのか、文明の制御を失う危険を冒してよいのか。そして「Such decisions must not be delegated to unelected tech leaders.（こうした決定を、選挙で選ばれていないテック企業の指導者に委ねてはならない）」と続けた。

署名と反発

署名の筆頭として報じられたのは Musk、Wozniak、Bengio だった（MIT Technology Review）。一方、のちに AI の危険を公に語り始める Geoffrey Hinton はこの書簡に署名していない。その経緯は Hinton の Google 退社 の記事にある。

批判は複数の方向から来た。論文「Stochastic Parrots」の著者として名を挙げられた Timnit Gebru、Emily M. Bender らは3月31日付で声明を出し、書簡の提言の一部（合成メディアの来歴と電子透かしなど）には同意するとしつつ、全体は恐怖をあおる誇大宣伝に覆われていると批判した。声明によれば、書簡は「人間並みの知性」をもつ「強力なデジタルの心」という想像上の危険に議論を向け、すでに起きている害 ── 労働者の搾取と大規模なデータの無断利用、合成メディアの氾濫、少数の企業への権力集中 ── を扱っていない。必要なのは透明性を義務づける規制であり、学習データとモデルの構造を開示させ、出力の責任を作り手に負わせることだ、という主張だった。

開発する側からも異論が出た。OpenAI の Sam Altman は4月13日、MIT のイベントで、書簡には「どこで停止が必要か」についての技術的なニュアンスの大半が欠けていると述べた（SiliconANGLE の報道）。書簡の初期の版には OpenAI が GPT-5 を学習中だとあったが、それは事実でなく、当面そうする予定もないとも語っている。

2か月後の一文声明

書簡が「停止」という具体策で賛否を割ったのに対し、2023年5月30日に Center for AI Safety（CAIS）が出した声明は、AI による絶滅リスクの低減をパンデミックや核戦争と並ぶ世界的な優先事項にすべきだという一文だけだった。署名者には Hinton と Bengio に加え、Altman、Google DeepMind の Demis Hassabis、Anthropic の Dario Amodei という主要研究所の CEO が含まれた。FLI の書簡に名前のなかった開発の当事者が、危険の存在そのものは認めた形である。声明の文面と Hinton の立場は Hinton の記事 で扱っている。

半年後 ── 停止はなく、議論は残った

停止期限にあたる2023年9月、FLI 代表の Max Tegmark は MIT Technology Review の取材に、書簡の主な狙いは議論を主流に乗せることで、その部分は成功したと答えた。同時に、企業はどこも全速力で進んでおり、米国には意味のある規制がまだないと認めている。Tegmark の見立てでは、各社の CEO は単独で止まれば競争に負けると分かっており、停止が実現するとしたら、各国政府が全員に停止を強いる安全基準を設けた場合だけだった。同誌は、書簡に署名した Musk がその後 AI 企業 X.AI を立ち上げたことも指摘している。

政府の側では、同じ年の10月30日に米国で Biden 大統領令 が出され、11月1〜2日に英国で AI 安全サミット が開かれた。EU では翌2024年3月に AI Act が採択されている。書簡がこれらを引き起こしたと言える根拠はない。ただ、FLI は書簡の要求の中に、AI 専門の規制当局や計算資源の追跡など、その後に各国で議論される項目をすでに並べていた。

社会への影響 ── 何が争われたのか

この書簡が残した最大のものは、AI のリスクをめぐる2つの陣営の分断を可視化したことである。一方は、制御を失う長期的・壊滅的なリスクを最優先に置く立場で、FLI や CAIS がこちらに立つ。もう一方は、雇用や労働条件、偏り、偽情報、権力の集中といった目の前の害を優先する立場で、DAIR の声明がその代表だった。Tegmark は前者の側から、現在の害に取り組む人々と内輪もめをすれば巨大テック企業を利するだけだと述べている。

働く人々にとっての論点も、書簡はすでに名指ししていた。仕事の自動化を問いの1つに掲げ、経済と政治の混乱に対処する制度を求めたことである。ただし書簡が主に求めたのは開発の停止であり、労働者の発言権や補償の仕組みには踏み込んでいない。そこを突いたのが、移民、ギグワーカー、作品を学習に使われた芸術家など、最も影響を受ける人々に発言権を与えるべきだという DAIR の主張だった。

AI と社会をめぐる流れは AI の年表、用語は AGI と 大規模言語モデル にある。