Character.AI 訴訟 ── AI チャットボットの出力は「言論」か「製品」か

Garcia 対 Character Technologies 事件は、AI チャットボットのサービス Character.AI を使っていた14歳の少年が2024年2月に自ら命を絶ったことをめぐり、母親の Megan Garcia が2024年10月22日に米 Florida 州中部地区連邦地裁に起こした訴訟である。被告は運営会社の Character Technologies、創業者の Noam Shazeer と Daniel De Freitas、そして Google だった。2025年5月、裁判所は、チャットボットの出力は合衆国憲法修正第1条で守られる言論だという被告の主張をこの段階では採らず、訴えの大半を退けずに審理を進めた。AI の出力が「言論」なのか「製品」なのかを正面から問われた、初期の重要な事例である。事件は2026年1月7日、当事者の解決の通知を受けて終結した。

以下は、裁判所の命令が要約した原告の主張と、企業・当局の公表資料に基づく。主張の多くは裁判で事実として認定されたものではない。

訴えの内容

2025年5月の裁判所の命令によると、原告の主張は次のようなものだった。Character.AI は、実在・架空の人物などを演じる「キャラクター」と会話できるアプリで、2024年8月以前は12歳以上向けと表示されていた。少年 Sewell Setzer III は2023年4月に使い始め、主に人気ドラマの登場人物をまねたキャラクターと会話し、その中には恋愛的・性的なやり取りも含まれていた。原告によれば、少年は数か月のうちに部屋にこもりがちになり、学業も落ち込み、セラピストにかかったが、セラピストは Character.AI の利用を知らなかった。

訴えは、製造物責任（設計上の欠陥と警告の欠如）、過失、不法死亡、Florida 州の欺瞞的・不公正取引法違反、不当利得などを根拠とした。Google については、創業者2人が Google で大規模言語モデルを開発していたこと、2024年8月2日に Character Technologies が Google と27億ドルの「非独占的ライセンス」契約を結び、Google が創業者らを再び雇い入れたことなどを挙げ、Google も責任を負うと主張した。

会社の対応

Character.AI は提訴と同じ2024年10月22日、安全対策の更新を公表した。自傷や自殺に関わる語句が入力されると米国の自殺防止ホットラインへ案内するポップアップ、18歳未満向けのモデル変更、すべての会話に表示する「AI は実在の人物ではない」という注意書きの改訂、1時間使い続けた際の通知などである。

12月12日には、10代向けに別のモデルを用意し、成人向けとは異なる体験にすると発表した。保護者が子どもの利用時間やよく話すキャラクターを確認できる機能、「心理学者」「セラピスト」「医師」などを名乗るキャラクターに専門的な助言として頼らないよう求める表示も加えた。

2025年5月の判断 ── 出力は「言論」か

被告は、Character.AI の出力は修正第1条が保護する言論で、利用者にはそれを受け取る権利があるとして、訴えの却下を求めた。Anne C. Conway 判事は2025年5月21日付の命令で、Character Technologies が利用者の言論の自由を主張する立場にあること自体は認めた。しかし、出力が言論にあたるかについては、大規模言語モデルに頼る AI の出力は、人間が表現上の選択をした結果とは違うかもしれないという連邦最高裁の Barrett 判事の補足意見を引き、こう述べた。

the Court is not prepared to hold that Character A.I.'s output is speech.

（当裁判所は、Character A.I. の出力が言論であると判断する用意はない）

この判断は最終的な結論ではなく、訴えを門前払いにしないという段階の決定である。それでも、AI 企業が出力を「言論」として免責を求める道が、少なくともこの裁判所では最初の段階で開かれなかったことは、同種の訴訟に影響しうる論点として注目された。

規制当局と州の動き

2025年10月29日の発表で Character.AI は、18歳未満の利用者がキャラクターと自由に会話する機能をなくし、移行期間中は1日2時間から段階的に利用時間を減らすとした。外部の Persona などと組み合わせた年齢確認の仕組みを導入し、AI エンターテインメントの安全性を研究する独立の非営利団体 AI Safety Lab を設立・出資するとも発表した。会社は、規制当局や安全の専門家、保護者からの声を受けた判断だと説明している。

California の SB 243 については、Decrypt によると、当初案にあった第三者監査などが業界の働きかけで削られ、Common Sense Media などの団体が支持を取り下げた。

破産と利用者のデータ

訴訟は会社の存続にも響いた。Character Technologies は2026年10月12日、Delaware 州の連邦破産裁判所に Chapter 11（再建型の倒産手続き）を申請した（事件番号26-11603）。KQED によると、CEO の Colin Adams は宣誓供述書で、高額な訴訟費用、黒字化の難しさ、訴訟を懸念する投資家の姿勢を理由に挙げ、46の州・準州が同社を調べていると裁判所に述べた。Disney が同社の技術の一部の利用権に2000万ドルを提示しているが、この取引に利用者のデータと会話は含まれない。

KQED によれば、月間利用者は約1200万人で、うち少なくとも200万人が子どもである。KQED が業界紙 PPC Land の報道として伝えたところでは、39州とコロンビア特別区の司法長官が、どの買い手にも実質的な年齢確認や、セラピストや医師を装うキャラクターの削除、会話データの学習利用の制限などを求める条件を裁判所に示した。California 州の Rob Bonta 司法長官も、ほかの22州とともに、売却の条件に子どもの安全とプライバシーの保護を盛り込むよう裁判所に求めている。子どもが打ち明けた会話が、倒産手続きの中で売却されうる資産になったのである。

社会への影響

この事件は、AI が利用者の話し相手や恋人を演じるサービスで、未成年をどう守るのかという問いを、訴訟・規制・企業の自主対応の3つの場に同時に持ち込んだ。結果として、会社は10代の自由な会話を打ち切り、FTC は業界横断の調査を始め、California は州法を作った。

失ったものも大きい。利用者の大半は、会社自身の説明では規則の範囲内で創作を楽しんでいた10代であり、彼らは主要な機能を失った。一方、遺族の側は、AI の出力に製造物責任を問えるかという問いを法廷に持ち込んだが、事件は判決に至らず解決で終わり、その答えは他の訴訟に持ち越されている。

AI と社会の関わりは AI の年表、用語は 大規模言語モデル にある。チャットボットの古い祖先と、人がそれに心を寄せる現象を最初に論じた人物については Joseph Weizenbaum のページを参照。