「ディープフェイク」の始まり ── Reddit の利用者「deepfakes」と2018年の締め出し

「ディープフェイク」という言葉は、技術の名前として生まれたのではない。2017年末に Reddit で偽の動画を投稿していた一人の利用者の名前である。2017年12月11日、米国のテクノロジー媒体 Motherboard（Vice）の記者 Samantha Cole が、その利用者「deepfakes」を報じた。機械学習を使い、有名女優の顔を既存のポルノ映像に合成した動画を投稿していたのである。2か月もたたないうちに、利用者名は偽動画そのものを指す名詞になり、手法は誰でも使えるアプリになった。2018年2月7日、Reddit はその集まりを閉鎖した。

ディープフェイクとは何か、どんな仕組みかは用語集のディープフェイクにまとめてある。ここで扱うのは、この語と技術がどこから来て、最初の数か月に何が起きたかである。

一人の利用者と、オープンソースの道具

Motherboard の最初の記事によれば、deepfakes は大きな特殊効果スタジオではなく個人で、研究者ではなく機械学習に関心のあるプログラマーだと名乗った。身元は明かさなかった。

本人の説明では、ソフトウェアは Keras と TensorFlow など複数のオープンソースのライブラリを組み合わせたもので、顔の素材は Google の画像検索、ストック写真、YouTube の動画から集めた。手法の要点について、本人はこう語っている。数百枚の顔画像から歪ませた画像を何百万枚も作ってネットワークを学習させる。そのあと別人の顔を入れると、ネットワークはそれを歪んだ画像の一つだと見なし、学習した顔に見えるよう直そうとする。

のちの研究者による整理では、この最初のネットワークは1つの符号化器（エンコーダ）と2つの復号器（デコーダ）からなる。2人の顔それぞれを、共有の符号化器と人物ごとの復号器で復元するよう同時に学習させる。符号化器は2人の顔を共通の表現に写すことを覚えるので、ある人物の顔を符号化して、もう一人の復号器で戻せば、表情や向きを保ったまま顔が入れ替わる。

取材に応じた AI 研究者の Alex Champandard は、一般向けのまずまずのグラフィックスカードなら数時間で処理でき、CPU でも数日かければできると見積もった。そして "This is no longer rocket science."（もう高度な専門技術ではない）と述べた。

結果は完璧ではなかった。記事は、顔の追従がずれたり、元の映像が顔の周りにのぞいたりすると書いている。それでも、ちらりと見ただけなら信じてしまう程度にはできていた。

名詞になり、アプリになる

2018年1月24日の続報で、Cole は事態の速さを伝えた。

続報によれば、コミュニティの中では「deepfake」という語がすでに、こうしたニューラルネットワークで作る偽動画を指す名詞になっていた。2018年1月27日時点のウェブアーカイブに残る r/deepfakes の画面では、作成者は deepfakes 本人で、開設から2か月と表示されている。辞書はこの語を、deep learning の deep と fake を合わせたものと説明している。

もう一つの転機が FakeApp だった。別の利用者 deepfakeapp が、プログラミングの経験がない人でも使えるよう deepfakes の手法をアプリにまとめた。コミュニティの wiki は FakeApp を "a community-developed desktop app to run the deepfakes algorithm without installing Python, Tensorflow, etc." と紹介し、必要なのは CUDA に対応した性能のよい GPU だと書いていた。GPU を持っていなくても、クラウドの GPU を借りればよかった。データの抽出からコマ単位の変換まで、うまくいけば8〜12時間ほどだったという。

電子フロンティア財団（EFF）の Peter Eckersley は1月初めの取材で、この技術がごく簡単で広く使われるものになる手前にいると述べ、まだ見分けがつく状態は "That's not going to stay true for more than a year or two." と語っていた。続報の記事は、それが2か月ももたなかったと書いている。

2018年2月7日、Reddit の締め出し

1月末から2月初めにかけて、偽動画が置かれていた周辺のサービスが先に動いた。Motherboard によれば、直前の1週間で Discord、Gfycat、Pornhub、Twitter が同意のないポルノの一つとしてディープフェイクを締め出した。動画そのものは Gfycat などの外部サービスに置かれていたため、Reddit の利用者の中には、自分たちのコミュニティは閉鎖されないと考える者もいた。

2月7日、Reddit の管理者は r/announcements で、同意のないポルノと未成年者の性的・示唆的なコンテンツを扱っていた規約を二つの別々の規則に分けたと告知した。TechCrunch が引いた新しい文言は、本人の許可なく作られた、あるいは投稿された裸や性的な画像・動画を禁じ、"including depictions that have been faked"（偽造された描写を含む）と明記している。偽のわいせつ画像を作る目的で他人の画像を投稿することも禁じた。

同じ日に r/deepfakes は閉鎖された。閉鎖時の購読者数は、Motherboard によれば9万人近く、TechCrunch によれば9万2,000人超だった。ディープフェイク以前から写真の合成で有名人の偽画像を共有していた r/CelebFakes なども閉じられた。一方、ポルノを扱わない r/SFWdeepfakes などは残った。Motherboard は、作り手たちがすでに Discord のチャンネルや専用サイトへ移り始めており、閉鎖で手法そのものが消えるわけではないと書いている。

偽動画は研究の主題になった

この一連の騒ぎのあと、ディープフェイクは学術研究の主題になった。2020年の総説論文は、2018年に BuzzFeed が公開したオバマ元大統領の偽動画が FakeApp で作られていたことを挙げ、この分野の論文が2017年の3本から2018〜2020年には250本超に増えたと数えている。Reddit の利用者が公開した元のネットワークをもとに、DeepFaceLab などのオープンソースの道具が改良を重ねた。

米国の会計検査院（GAO）は2020年2月の解説で、ディープフェイクは選挙に影響を与えたり信頼を損なったりしうるが、これまでは主に同意のないポルノに使われてきたと書いた。用途の偏りは、最初の数か月の Reddit で起きたことと同じだった。

法律が追いつくまで

日本では2020年10月、ポルノ動画の出演者の顔を芸能人の顔にすり替えた動画を公開したとして男3人が名誉毀損の疑いで逮捕され、琉球新報はディープフェイク動画での逮捕は全国初と伝えた。

米国では2025年5月19日、TAKE IT DOWN Act が成立した。本人の同意のない性的な画像の公開を連邦の犯罪とし、ソフトウェアや機械学習、AI で作った「デジタル偽造物」もその対象に含めた。プラットフォームには、被害者から有効な削除要請を受けたら48時間以内に削除することを義務づけ、その手続きを整える期限を成立から1年とした。2018年に Reddit が規約で書いたことが、7年後に法律になった形である。

それでも問題は続いている。2026年1月12日、英国の通信規制機関 Ofcom は、X の AI ツール Grok が性的な画像の生成と共有に使われたとの報告を受けて、X に対する正式な調査を始めた。偽の画像を作る道具は、2017年には一人の利用者が配る自作のコードだったが、2026年には巨大なプラットフォームに組み込まれた機能になっていた。

ディープフェイクが性的な偽画像の外に広がった例は、このサイトの別の記事で扱っている。2024年1月には米国の予備選挙の直前にバイデン大統領の偽の声による自動音声電話が有権者に送られ、同じ月に香港では偽の幹部が並ぶビデオ会議で約2億香港ドルがだまし取られた。規制の側では、EU の AI 法がディープフェイクを定義し、それを生成・改変する AI の利用者に、作られたものであることの開示を求めている。

関連: AIと社会の年表。