Samsung の ChatGPT 情報流出 ── 社員の入力が招いた生成 AI の社内禁止

2023年春、Samsung Electronics（サムスン電子）は、新しい種類の企業リスクの代表例になった。機密情報がハッキングではなく、社員がチャットボットに打ち込むことで社外へ出ていくというリスクである。2023年3月30日、韓国の経済週刊誌『イコノミスト』（이코노미스트）は、Samsung の半導体部門が社員に ChatGPT の利用を認めてから20日もたたないうちに、技術者が社外秘のソースコードや会議の記録を入力していたと報じた。2023年5月2日には Bloomberg が、ChatGPT などの生成 AI ツールを会社の端末と社内ネットワークで使うことを禁じる Samsung の社内文書を報じた。

この懸念を Samsung が初めて持ち出したわけではない。米国の大手銀行はすでに ChatGPT の利用を制限していた。だが Samsung の件は、それまで抽象的だったリスクに具体的な事件を与えた。数週間のうちに、Apple などほかの企業も独自の制限に踏み切っている。

3件の事例

『イコノミスト』の鄭斗溶（정두용）記者の報道によれば、Samsung は情報流出を懸念して社内で ChatGPT を遮断していたが、2023年3月11日に半導体事業を担う DS（Device Solutions）部門で利用を認めた。モバイルや家電を担う DX（Device eXperience）部門では禁止を続けた。それから20日足らずで、同社は3件の事例を把握した。

Samsung は2件を設備情報の流出、1件を会議内容の流出に分類した。報道が問題にしたのは、OpenAI に送った内容は同社の社員が確認でき、学習データにも使われうるため、一度送ると取り戻せないという点だった。報道によれば Samsung の緊急対応は、1回の質問を1,024バイトに制限すること、関係した社員を調べて懲戒もありうるとすること、同じことが起きれば社内ネットワークで ChatGPT を遮断しうると警告すること、自社の AI サービスの構築を検討することだった。Samsung の担当者は、社内の事柄だとして事例の確認を避けた。

利用禁止

2023年5月2日、Bloomberg は社内文書を確認したうえで、Samsung が会社支給のパソコン、タブレット、電話と、社内ネットワークにつないだ私物の端末で生成 AI の利用を制限すると報じた。TechCrunch と韓国の News1 が伝えた文書の内容は次のとおりである。制限は安全対策が整うまでの一時的なものとされた。社外でこうしたツールを使う社員にも、会社に関わる情報や個人情報を入力しないよう求めた。Samsung が一般に販売する端末は対象外だった。理由として挙げられたのは、こうしたサービスに送ったデータは外部のサーバーに保存され、取り戻したり消したりするのが難しく、ほかの利用者に見られるおそれがあるという点だった。TechCrunch によれば、Samsung が4月に行った社内調査では、回答者の約65%が生成 AI はセキュリティ上のリスクだと答えた。

時期については報道に食い違いがある。『イコノミスト』は流出を3月としたが、5月の禁止を伝えた報道の一部はソースコードのアップロードを4月の出来事として書いた。最も早い記録は、3月30日に出た『イコノミスト』の報道である。

制限の波

Apple の件は、同じ理屈がコーディング支援ツールにも広がったことを示している。Wall Street Journal の報道を要約した 9to5Mac によれば、Apple の文書は ChatGPT だけでなく、Microsoft 傘下の GitHub Copilot も禁じた。機密データがツールの開発元に漏れることを懸念したためで、2023年3月に ChatGPT で他人のチャット履歴が見えてしまう不具合があったことにも触れている。TechCrunch は、韓国では LG や SK Hynix も生成 AI の社内指針づくりに取り組んでいると報じた。

ベンダーの答え

制限は市場を生んだ。2023年8月28日に OpenAI が ChatGPT Enterprise を始めたとき、TechCrunch が伝えた中心の約束は、法人向け製品に送られた業務データと利用データでモデルを学習しないこと、会話を通信中も保存時も暗号化することだった。TechCrunch は、この強調を、社員に一般向けの ChatGPT の利用を禁じた企業と明確に結びつけている。Samsung は別の道を選んだ。2023年11月8日、Samsung Research が開発した言語・コード・画像のモデル群 Samsung Gauss を発表した。社員がすでに社内で使っており、コーディング支援の code.i を含み、端末上でも動かせるとされた。

リスクを負ったのは誰か

社員にとって、この出来事は「仕事を速くする近道」と「懲戒の対象」との境目を動かした。『イコノミスト』の報道に出てくる技術者たちは、所属部門が承認したばかりの道具で、コードのデバッグや会議のまとめという普通の仕事をしていた。そして報道によれば、調査と懲戒の可能性に直面した。1,024バイトの制限と、その後の端末での禁止は、リスク管理の負担を社員の側に置いた。社員は安全な道具を与えられる代わりに、何を打ち込んではいけないかを指示された。自社モデルが出てくるのはその後である。

企業にとって、Samsung の文書が挙げたリスクは AI の賢さではなく、データの行き先の問題だった。ソースコードや会議の記録が第三者のサーバーに届けば、取り戻すことも消すことも難しい。その後に出てきた製品は、この懸念に正面から答えた。ChatGPT Enterprise は学習データについての契約上の約束を売りにし、Samsung は余力を生かして自社が管理できるモデルを作った。

Samsung の件と、2024年の Arup のディープフェイクのビデオ会議詐欺 は、企業が早くから向き合わざるを得なかった AI リスクの2つの具体的な形である。一方は社員のプロンプトを通じて情報が外へ漏れ、もう一方では作り物の人物が社員から金を引き出した。

関連: サイバーセキュリティの年表。同じ年の公共部門での例としては ニューヨーク市の公立学校による ChatGPT の禁止 がある。