OpenAI の Superalignment チーム解散 ── 共同統括の退社と安全をめぐる対立

Superalignment（スーパーアライメント）チームは、OpenAI が「人間よりはるかに賢い AI」を制御するために作った研究チームで、2024年5月、発足から1年足らずで解散した。共同統括の Ilya Sutskever が5月14日に退社を発表し、もう一人の Jan Leike も同じ日に X で「I resigned」とだけ投稿した。5月17日、Leike は退社の理由を長い投稿で説明し、その中で次のように書いた。

But over the past years, safety culture and processes have taken a backseat to shiny products.

ここ数年、安全の文化とプロセスは輝く製品の後回しにされてきた ── という告発である。OpenAI は同じ日、チームを解散し、研究者を社内の研究部門に統合したことを認めた。安全性研究の看板チームが、それを率いた2人の退社とともに消えたこの出来事は、AI 企業の内部で安全と製品開発がどう優先されているのかを、外部が問う契機になった。

チームは何を約束していたか

OpenAI は2023年7月5日の発表で、超知能は人類がこれまでに発明した中で最も影響の大きい技術になりうる一方、その巨大な力は人類の無力化や絶滅にさえつながりうると書き、それが今は遠く見えても、この10年のうちに到来しうると考えていると述べた。そして、超知能のアライメント（AI の目標と振る舞いを人間の意図に沿わせること）の中核的な技術課題を4年で解くことを目標に掲げ、新チームを Sutskever と Leike の共同統括で立ち上げ、その時点で確保済みの計算資源の20%を充てると発表した。発足の経緯と Sutskever の研究上の立場は Ilya Sutskever のページにある。

Leike は何を書いたか

5月17日の投稿の冒頭は、前日が OpenAI でのアライメント責任者、Superalignment の統括、そして幹部としての最終日だった、という報告である。続く投稿で Leike は、会社の中核的な優先順位をめぐって経営陣とかなり長いあいだ意見が合わず、ついに限界点に達したと書いた。AP 通信と Decrypt が引用した投稿の一節には、"Building smarter-than-human machines is an inherently dangerous endeavor." がある。Leike は、OpenAI は人類全体を代表して巨大な責任を負っており、安全を最優先にする AGI 企業にならなければならないとも書いた。

チームが計算資源を十分に得られなかったという話は、Leike 本人の言葉というより報道として出た。TechCrunch は5月18日、チームの関係者の話として、計算資源の20%を約束されていたにもかかわらず、その一部を求める要求すらしばしば却下され、研究が妨げられたと伝えた。OpenAI はこの点についてすぐには回答しなかった。同じ記事によれば、Superalignment が担っていた種類の研究は共同創業者の John Schulman が率いることになり、チームは独立した組織ではなく、各部門に散った研究者のゆるやかなまとまりになった。OpenAI の広報はこれを、チームを「より深く統合する」ことだと説明した。

Altman は Leike の投稿に、Leike は正しく、やるべきことはまだたくさんあり、それに取り組むと約束すると返した。

退職書類と持分

解散の報道と同じ5月17日、Vox の Kelsey Piper は、元社員がなぜ誰も口を開かないのかを報じた。Piper が見たという退職書類には、退社後の生涯にわたって元雇用主を批判することを禁じ、合意の存在に触れることさえ違反とする条項があった。署名を拒むか違反すれば、在職中に得た確定済みの持分をすべて失うおそれがあった。元社員の Daniel Kokotajlo は、署名せずに辞めるため、多額になったはずの持分を手放したことを公にしている。

OpenAI の広報は記事の公開後、Vox に "We have never canceled any current or former employee's vested equity nor will we if people do not sign a release or nondisparagement agreement when they exit." という声明を送った。翌5月18日、Altman は X で、退職書類に持分の取り消しの可能性に関する条項があったことを認め、文言を改めている最中だと書いた。GIGAZINE などの報道によれば、OpenAI はその後、元社員に対し、署名の有無にかかわらず確定済みの持分を取り上げないこと、通常の退職書類から非難禁止条項を外し、既存の義務からも解放することを伝えた。

社会への影響

安全性の主張を検証できるのは誰か。 この出来事が残した問いはこれである。

最も直接の反応は、AI 企業で働く人々自身から出た。2024年6月4日、OpenAI の現・元社員11人と Google DeepMind の現・元社員2人が公開書簡「A Right to Warn about Advanced Artificial Intelligence」を発表した。書簡は、AI 企業はシステムの能力と限界について公開されていない多くの情報を持ち、現・元社員は企業に公衆への説明責任を果たさせられる数少ない人々だと述べた。そのうえで、リスクに関する批判を封じる合意を強制しないこと、確定済みの経済的利益を取り上げる報復をしないこと、匿名でリスクを通報できる仕組みを設けることなど4つの原則を求めた。Yoshua Bengio、Geoffrey Hinton、Stuart Russell が賛同している。書簡は、通常の内部告発者保護は違法行為に焦点を当てているため、まだ規制されていないリスクには不十分だとも指摘した。この論点は、同じ年にカリフォルニア州で審議された SB 1047 の内部告発者保護の規定とも重なっている。

人材の面では、OpenAI の安全性研究者の一部が競合へ移った。Leike は5月28日、Anthropic に移ると発表し、PYMNTS によればスケーラブルな監督、弱い監督者から強いモデルへの汎化、アライメント研究の自動化に取り組むとした。

一方で、OpenAI の側にも安全研究を続けるという説明はあった。TechCrunch が伝えた Greg Brockman の長い返答は、Leike への感謝と、厳密な試験と緊密なフィードバックの必要を述べている。ただし外部から検証できる形で示されたのは、チームの解散と研究者の分散という組織上の事実だった。

同じ構図はその後も続いた。OpenAI で AGI への準備（AGI Readiness）を担当する上級顧問だった Miles Brundage は2024年10月23日、退社を表明する文章で "In short, neither OpenAI nor any other frontier lab is ready, and the world is also not ready." と書いた。彼のチームのメンバーは社内の他チームに分散された。

計算資源の20%という約束が守られたのかどうかを、外部の人間が確かめる方法はなかった。分かったのは、内部の当事者が辞め、語り、報道されてからである。その後カリフォルニア州で2025年に成立した SB 53 は、大手のフロンティア AI 開発者に安全の枠組みの公開、重大な安全インシデントの州当局への報告、内部告発者の保護を義務づけた。企業の自主的な約束を、外から確かめられる形に置き換えようとする試みである（経緯は SB 1047 のページ）。