T1#regulation

カリフォルニア州 SB 1047 ── 最先端 AI の安全法案に知事が拒否権

サクラメントのカリフォルニア州議会議事堂。手前に黄色いバラが咲く(2019年6月撮影)
出典Frank Schulenburg (Wikimedia Commons) · CC BY-SA 4.0 · Commons で見る ↗

メタデータ

日付
年代
2020s
Tier
T1
出典数
10
関連項目
07
Tags
#regulation

SB 1047 は、カリフォルニア州上院議員 Scott Wiener が提出した、最先端の大規模 AI モデルの開発者に安全対策を義務づける州法案である。正式名は Safe and Secure Innovation for Frontier Artificial Intelligence Models Act。2024年8月に州議会の両院を通過したが、Gavin Newsom 知事は2024年9月29日に拒否権を行使し、法律にはならなかった。拒否の書簡で知事は、最も高価で大規模なモデルだけに焦点を当てる仕組みは、急速に動く技術を制御できているという誤った安心感を公衆に与えうると書いた。

それから1年後の2025年9月29日、Newsom は Wiener の後継法案 SB 53(Transparency in Frontier Artificial Intelligence Act)に署名した。SB 1047 が求めた安全対策の義務は、SB 53 では安全の枠組みの公開と事故の報告という形に変わって成立した。

法案は何を求めたか

法律事務所 Kilpatrick Townsend の2024年9月の解説によれば、法案の中身は次のとおりだった。

項目内容
対象となるモデル学習に10の26乗回を超える整数・浮動小数点演算を使い、その計算費用が1億ドルを超えるもの。対象モデルを微調整したもので、3×10の25乗回以上かつ1,000万ドル超のものも含む
学習前の義務安全・セキュリティ手順(safety and security protocol)を作成・保存し、編集版を公表して州司法長官に送る。モデルを完全に停止(full shutdown)できる能力を実装する
監査2026年1月1日から第三者の監査人を置く。毎年、司法長官に遵守状況を報告する
事故の報告AI の安全上の事故を知ってから72時間以内に司法長官へ報告
罰則一定の損害について、学習に使った計算費用の10%(2回目以降は30%)を上限とする民事罰
内部告発開発者は従業員が司法長官や労働委員に情報を開示するのを妨げてはならない。匿名の通報手続きも必要

Wiener の事務所は、このほか州の公共計算クラスタ CalCompute の創設を法案の柱に挙げた。知事の拒否の書簡によれば、法案は開発を監督する州の機関 Board of Frontier Models も設けるものだった。法案は州下院で2024年8月28日に49対15で可決され、翌29日に上院で最終的に可決された。

賛成と反対

SB 1047 は、AI の安全をめぐる意見が業界の内側で割れていることを、はっきり見せた法案だった。

立場主な主体主張(出典に基づく要約)
支持Geoffrey Hinton、Yoshua Bengio、Center for AI Safety、Encode Justice ほか(Wiener の事務所の発表による)最も強力なシステムに限って、壊滅的な害を試験し、防ぐ仕組みを求めるのは妥当
条件付き支持Anthropic(2024年8月21日の書簡)修正後の法案は大きく改善され、利益が費用を上回る可能性が高い。ただし確信はない
反対・懸念OpenAIAI は連邦政府が規制すべきで、法案は不確実な法的環境を生む
反対・懸念Meta州を AI の開発と展開にとって好ましくない場所にするおそれがある
反対Nancy Pelosi 元下院議長(2024年8月16日)善意だが情報不足。カリフォルニアの AI の目標にとって有害無益
反対Y Combinator、a16z、業界団体 Chamber of Progress など(TechCrunch による)開発者が投獄されうる、起業家を州外へ追いやる、といった主張

Anthropic の書簡は、ロイター通信の報道によれば "In our assessment, the new SB 1047 is substantially improved, to the point where we believe its benefits likely outweigh its costs. However, we are not certain of this" と書いている。一方、Pelosi の声明は "The view of many of us in Congress is that SB 1047 is well-intentioned but ill informed." と述べ、AI の規制は連邦議会の超党派タスクフォースで検討が進んでいることを強調した。

Wiener は拒否の数日後、TechCrunch に、これほど誤情報の多い法案は経験がないと語り、反対派が大規模な宣伝活動を展開したと批判した。

知事は何を理由に拒否したか

Newsom の書簡は、AI の規制そのものを否定していない。書簡は、カリフォルニアには世界の主要 AI 企業50社のうち32社があると述べ、大惨事が起きるのを待ってから行動するわけにはいかないという点では法案の提出者に同意すると明記した。そのうえで、拒否の理由を次のように挙げている。

  • 規制の線引きを、モデルの開発に要した費用と演算量で決めるのか、実際のリスクで決めるのかが議論の核心である
  • 最も高価で大規模なモデルだけに焦点を当てると、誤った安心感を与えうる。小型の特化型モデルも同等以上に危険になりうる
  • AI システムが高リスクの環境で使われるか、重要な意思決定や機微なデータを扱うかを考慮せず、大規模なシステムが使えば最も基本的な機能にまで厳しい基準を課す
  • 規制は AI システムと能力の実証的な分析に基づくべきだ

書簡は、知事が直前の30日間に、既知の具体的なリスクを扱う十数本の AI 関連法案に署名したことも挙げている。TechCrunch によれば、知事は拒否と同時に、スタンフォード大学の Fei-Fei Li らによる作業部会を立ち上げた。

後継の SB 53

作業部会の報告(2025年3月18日に公表)を土台に、Wiener は SB 53 を提出し、Newsom は2025年9月29日に署名した。知事の発表と Carnegie 国際平和財団の分析によれば、骨子は次のとおりである。

項目SB 1047(拒否)SB 53(成立)
対象10の26乗回超かつ計算費用1億ドル超のモデル10の26乗回超で学習したフロンティアモデル。主な義務は前年の売上5億ドル超の「大手フロンティア開発者」に
中心となる義務安全・セキュリティ手順、完全停止の能力、第三者監査安全の枠組みをウェブで公開、新モデルの情報公開
事故の報告72時間以内に司法長官へ重大な安全インシデントを15日以内に州緊急事態サービス局(Cal OES)へ
罰則計算費用の10〜30%を上限1違反あたり最大100万ドル(司法長官が執行)
その他内部告発者保護、CalCompute内部告発者保護、CalCompute、州技術局が毎年改正を提言

Carnegie の分析は、SB 53 を、新たな責任や停止能力の義務、クラウド事業者への本人確認義務で批判された SB 1047 より軽い手法だと評している。第三者監査の規定は、成立前に法案から削られた。SB 53 は2026年1月1日に施行された。

社会への影響

SB 1047 の拒否と SB 53 の成立は、州が最先端 AI の安全をどこまで規制できるかという問いへの、米国での最初の答えになった。

反対派の多くが主張した、AI は連邦で規制すべきだという立場は、その後、連邦政府自身の政策になった。2025年12月11日、トランプ大統領は大統領令14365「Ensuring a National Policy Framework for Artificial Intelligence」に署名し、司法長官に州の AI 法と争うタスクフォースを30日以内に設けるよう命じ、商務長官に「負担の重い」州法の洗い出しを求めた。大統領令の本文はカリフォルニア州を名指ししていないが、州ごとの規制の「パッチワーク」を問題にしている。

働く人々にとって見落とせないのは、内部告発者保護が SB 1047 から SB 53 へ引き継がれた点である。AI 企業の社員が、規制されていないリスクについて声を上げる手段を法律で守るという発想は、OpenAI の Superalignment チーム解散の後に社員たちが求めたものと重なる。

SB 1047 は、AI の安全性という言葉が、研究者の原則(アシロマ AI 原則)や企業の自主的な約束から、州議会の条文と知事の署名をめぐる政治の問題へ移ったことを示した。拒否されたその法案は、1年後に形を変えて州法になった。

よくある質問

SB 1047 とは何ですか。
州上院議員 Scott Wiener が提出したカリフォルニア州の法案で、学習に10の26乗回を超える演算と1億ドル超の費用をかけた最先端 AI モデルの開発者に、学習前の安全・セキュリティ手順、モデルを完全に停止できる能力、第三者監査、事故報告などを義務づける内容でした。2024年9月29日に知事が拒否権を行使し、成立しませんでした。
Newsom 知事はなぜ拒否したのですか。
拒否の書簡で、最も高価で大規模なモデルだけに焦点を当てる仕組みは、急速に動く技術を制御できているという誤った安心感を与えうると述べました。小型の特化型モデルも同等以上に危険になりうること、高リスクの環境で使われるかどうかを考慮していないことも理由に挙げ、規制は実証的な分析に基づくべきだとしました。
誰が賛成し、誰が反対したのですか。
Wiener の事務所によれば Geoffrey Hinton や Yoshua Bengio らが支持し、Anthropic は修正後の法案について利益が費用を上回る可能性が高いとしました。反対したのは OpenAI、Meta、a16z、元下院議長の Nancy Pelosi らで、Pelosi は善意だが情報不足だと批判しました。
SB 53 は SB 1047 と何が違うのですか。
2025年9月29日に成立した SB 53 は、大手のフロンティア開発者に安全の枠組みの公開、重大な安全インシデントの州緊急事態サービス局への報告、内部告発者の保護を義務づける、透明性を軸とした法律です。Carnegie 国際平和財団の分析は、停止能力の義務などで批判された SB 1047 より軽い手法だと評しています。

出典

  1. 一次資料SB 1047 veto message — Office of Governor Gavin Newsom, Sep 29, 2024

    拒否の理由(規模による線引き、誤った安心感、高リスク環境の考慮不足、実証的な根拠)、Board of Frontier Models、32社の主要 AI 企業、30日間に署名した十数本の AI 法

    取得日: 2026-10-18

  2. 一次資料Senator Wiener's Landmark AI Bill Passes Assembly — Senator Scott Wiener, Aug 28, 2024

    州下院で49対15で可決、1億ドル超の学習費用、CalCompute、内部告発者保護、Hinton・Bengio らの支持

    取得日: 2026-10-18

  3. 二次資料Proposed California AI Law SB 1047 – An Overview For Developers — Kilpatrick Townsend, Sep 12, 2024

    対象モデルの定義(10の26乗回超、1億ドル超)、微調整モデルの閾値、完全停止能力、2026年からの第三者監査、72時間以内の事故報告、罰則、内部告発者保護、8月28日・29日の可決

    取得日: 2026-10-18

  4. 二次資料California AI bill's benefits likely outweigh costs — Dunya News (Reuters), Aug 2024

    Anthropic の8月21日付書簡、OpenAI・Google・Meta の立場

    取得日: 2026-10-18

  5. 二次資料The lawmaker behind California's vetoed AI bill, SB 1047, has harsh words for Silicon Valley — TechCrunch, Oct 2, 2024

    Wiener の反応、Y Combinator・a16z・OpenAI など反対派、Fei-Fei Li らの作業部会

    取得日: 2026-10-18

  6. 一次資料Governor Newsom signs SB 53, advancing California's world-leading artificial intelligence industry — Office of Governor Gavin Newsom, Sep 29, 2025

    SB 53(Transparency in Frontier Artificial Intelligence Act)の署名と内容、2025年3月18日の作業部会報告

    取得日: 2026-10-18

  7. 二次資料California Just Passed the First U.S. Frontier AI Law. Here's What It Does. — Carnegie Endowment for International Peace, Oct 16, 2025

    SB 53 の閾値(10の26乗回、年間売上5億ドル)、15日以内の報告、1違反最大100万ドル、SB 1047 との違い

    取得日: 2026-10-18

  8. 二次資料State AI Laws in 2026: SB 53, SB 942, and Preemption — GC AI, Oct 7, 2026

    SB 53 の中核的な義務が2026年1月1日に発効したこと

    取得日: 2026-10-18

最終更新:

共有