アシロマ AI 原則 ── 「AI safety」を23か条に書いた会議

AI safety（AI の安全性）とは、AI システムが作り手の意図しない形で害をなすことを防ぐための研究と取り組みの総称である。2016年の論文「Concrete Problems in AI Safety」は、その中心にある問題を「事故」と呼び、現実の AI システムの設計の不備から生じうる、意図しない有害な振る舞いと定義した。この問題意識を、研究者・企業人・経済学者・法学者が集まって一つの文書に書き出した初期の例が、2017年1月5〜8日にカリフォルニア州アシロマで開かれた会議 Beneficial AI 2017 と、そこで作られた アシロマ AI 原則（Asilomar AI Principles） 23か条である。

主催した Future of Life Institute（FLI）によれば、23か条はどれも会議参加者の少なくとも90%の支持を得たものだけが残された。法的な拘束力はない。それでも、「安全性」「価値の整合」「競争で安全基準を削らない」「壊滅的リスクへの備え」といった、その後の AI 政策で繰り返し使われる論点が、ここで一つの文書に並んだ。

「AI safety」は何を指す言葉か

AI safety という語は、指す範囲が論者によって違う。広く使われる2つの定義を並べておく。

前者は今日動いているシステムの設計上の欠陥を扱い、後者は運用の全期間にわたる要求として書かれている。アシロマ原則はさらに、第10条で高度に自律的な AI の目標と振る舞いが人間の価値と整合すること（いわゆるアライメント）を、第21条で壊滅的・存亡的リスクへの計画と緩和を求めた。現在「AI safety」と呼ばれる議論は、目先の事故防止から、将来の高度な AI の制御までを同じ語で覆っており、その幅がこの文書の中にすでに見えている。

Beneficial AI 2017

FLI の記録では、催しは2017年1月3〜5日の助成先向けワークショップと、1月5〜8日の会議の2部からなる。2015年にプエルトリコで開いた AI 会議の後継と位置づけられていた。

講演者には Max Tegmark、Erik Brynjolfsson、Yoshua Bengio、Stuart Russell、Daniel Kahneman、Demis Hassabis、Ray Kurzweil、Yann LeCun、Nick Bostrom らが、パネリストには Elon Musk、Sam Altman、Eric Schmidt、Andrew Ng、Kate Crawford、Dario Amodei らが並んだ。学界と産業界の AI 研究者に、経済学・法学・倫理学・哲学の専門家が加わった構成である。

23か条はどう作られたか

FLI の説明によると、手順は次のとおりだった。まず AI の機会と脅威に関する既存の報告書を読み、技術の扱い方についての多様な見解を長いリストにまとめた。そこから重なり合う部分を探して原則の草案に絞り込み、事前に参加者へ改善案と追加案を求めた。会議では少人数の分科会が草案を議論し、新しい原則や改良版、さらに1つの原則について競合する複数の文案が生まれた。最後に参加者全員への調査で各案の支持を測り、少なくとも90%の支持を得たものだけを残した結果が23か条である。

第1条は原文で "The goal of AI research should be to create not undirected intelligence, but beneficial intelligence." と書く。第23条は、超知能は広く共有された倫理的理想に奉仕し、一つの国家や組織ではなく全人類の利益のためにのみ開発されるべきだとする。

署名と支持

原則は公開後、署名を募る形の公開書簡になった。2026年10月18日に FLI のページを見ると、AI・ロボット研究者1,200人と、その他2,342人が署名している（ページ上部のカウンタは5,720）。公開直後の2017年2月2日の Inverse の記事は、AI・ロボット研究者892人とその他1,445人が支持し、その中に Elon Musk と物理学者 Stephen Hawking が含まれると伝えた。同じ記事は、この原則が網羅的ではなく、解釈の余地も大きいと書き添えている。

FLI のブログが紹介した参加者の声には温度差がある。UC Berkeley の Anca Dragan は、ロボットは人類に反乱を起こすのではなく、命じられたことを最適化しようとするだけだと述べ、アライメントの問題を反乱の物語から切り離した。

社会への影響

法的拘束力のない「原則」として、どこまで効いたのか。 これがこの文書の評価の分かれ目である。

政策の側では、カリフォルニア州議会が2018年8月30日、23か条を AI 開発と関連政策の指針として支持する決議 ACR 215 を全会一致で採択した。主導したのは Kevin Kiley 議員である。FLI 自身、この決議を伝える記事で、原則は強制力のある政策や規制を定めるものではないと明記している。

国際的には、AI safety は6年後に政府間の議題になった。2023年11月1〜2日に英国ブレッチリー・パークで開かれた AI Safety Summit の宣言には、日本・米国・中国を含む28か国と EU が加わり、「フロンティア AI」の安全性の研究で協力するとした。アシロマ原則がこの宣言の直接の下敷きだったと示す資料はないが、扱う論点の重なりは大きい。

一方で、原則を並べること自体の限界を指摘する研究もある。Jobin、Ienca、Vayena が2019年に Nature Machine Intelligence で発表した分析は、企業・研究機関・公的機関が出した AI 倫理指針を集め、透明性・公正・無危害・責任・プライバシーの5原則に世界的な収斂が見られる一方、その解釈、重要とされる理由、対象、実装の方法では大きく食い違っていると結論づけた。原則に合意することと、それを守らせる仕組みを持つことは別の問題だ、という指摘である。

第5条（競争で安全基準を削らない）と第21条（壊滅的リスクへの備え）は、その後の展開を考えるうえで参照されることが多い。同じ FLI は2023年3月、GPT-4 より強力な AI の学習を6か月止めるよう求める書簡を出した。その経緯と反応は AI 開発一時停止の公開書簡 にある。

第2条は、AI への投資には有益な利用を確かにする研究への資金を伴わせるべきだとし、その問いの例として、故障や乗っ取りに強い AI、自動化の中で人々の資源と目的をどう保つか、法制度をどう追いつかせるか、AI をどんな価値に整合させるかを挙げている。安全性を工学だけでなく経済・法・倫理にまたがる課題として書いた点で、この条文は今日の「AI と社会」の議論の目次に近い。ただし、拘束力のない合意は、守らなかった者に何の負担も課さない。Jobin らの分析が示した「原則の収斂と実装の食い違い」は、アシロマ原則にもそのまま当てはまる。