Netflix Prize ── 推薦の精度に100万ドル、匿名データの限界

Netflix Prize（ネットフリックス・プライズ）は、米 Netflix が2006年10月2日に始めた、会員が映画に付ける評価を予測する機械学習の公開コンテストである。自社の推薦システム Cinematch の予測誤差を10%縮めたチームに100万ドルを払うと約束し、2009年9月21日、7人の連合チーム BellKor's Pragmatic Chaos が賞金を受け取った。同時にこのコンテストは、「匿名化」して公開した行動データから個人を特定できることを示した研究と、それに続く訴訟によって、データ公開とプライバシーの関係を問う代表的な事例にもなった。Netflix は2010年3月、予告していた第2回を取りやめている。

ルール ── 1億件の評価と10%の壁

公式サイトのルールによれば、配られた学習データは、無作為に選んだ48万人超の匿名の会員が約1万8千本の作品に付けた1億件超の評価である。精度の物差しは二乗平均平方根誤差（RMSE）で、Cinematch の誤差0.9525に対し、その90%にあたる0.8572以下を出すことが大賞の条件だった。参加は無料で、Netflix の会員である必要もなく、米財務省の禁輸対象国を除けば誰でも参加できた。賞金を受け取るには、手法を Netflix に提供し、世界に向けて説明することが求められた。

Netflix 自身は2012年の技術ブログで、このコンテストは推薦をよくするために、評価しやすく数値化しやすい代わりの問いとして RMSE を選んだものだったと説明している。

3年間の競争

2007年、最初の進歩賞は Korbell チームが8.43%の改善で獲得した。Netflix の技術ブログによれば、このチームは2,000時間を超える作業で107のアルゴリズムを組み合わせ、ソースコードを Netflix に渡した。Netflix はそのうち最も性能の良い2つ、行列分解（参加者の間では SVD と呼ばれた）と制限ボルツマンマシン（RBM）を取り出し、50億件を超える自社の評価に対応できるよう手を加えて実運用に入れた。RBM は、2006年に深いネットワークの部品として使われたモデルでもある（深層信念ネットワーク）。

10%の壁を越えたのは、それまで競い合っていたチームの合流だった。公式の順位表では、BellKor's Pragmatic Chaos と、数十のチームが集まった The Ensemble がともに RMSE 0.8567（10.06%改善）で並び、提出時刻が約20分早かった BellKor's Pragmatic Chaos が優勝した。

Fortune によれば、優勝チームは Bob Bell、Martin Chabbert、Michael Jahrer、Yehuda Koren、Martin Piotte、Andreas Töscher、Chris Volinsky の7人で、拠点はオーストリア、カナダ、イスラエル、米国にまたがる。Volinsky と Bell は AT&T Research の研究者だった。参加は186か国の4万チームを超えた。Netflix の CEO Reed Hastings は同じ日、映画を評価しない会員にも推薦できるよう、視聴履歴や人口統計などのデータを使う第2回を発表した。

ただし、優勝したアンサンブルは Netflix の製品には入らなかった。2012年の技術ブログは、新しい手法をオフラインで評価したが、精度の上積みが実運用に載せる手間に見合わないと判断したと書いている。Netflix はコンテスト開始の翌年の2007年にストリーミングを始めており、ブログは、会員がいますぐ見たいものを探す使い方では課題そのものが変わったと説明している。同じ記事で Netflix は、会員の視聴の75%が何らかの推薦から生まれているとしている。

匿名データは匿名ではなかった

コンテスト開始から約2週間後の2006年10月18日、テキサス大学オースティン校の Arvind Narayanan と Vitaly Shmatikov が、公開データの匿名性を破る方法を示す論文を arXiv に投稿した。改訂を経て、2008年5月の IEEE セキュリティとプライバシーのシンポジウムで発表されている。

論文によれば、ある会員について8本の映画の評価（うち2本は間違っていてもよい）と、14日程度の誤差を含む評価日を知っていれば、データの99%の記録を一人に絞り込めた。評価2本と3日以内の誤差の日付だけでも68%を特定できた。2人は実名で映画を評価できる IMDb の公開レビューと照合し、利用規約に配慮して数十人規模に絞った試験で2人の記録を特定した。そのうち1人については、Netflix にだけ付けていた評価から、政治的な傾向や宗教観を強く推測できたとしている。論文は、大半の会員が気にしないとしても、損なわれうる会員がいる以上、重大なプライバシーの問題だと論じた。

2009年12月17日、会員4人が北カリフォルニア連邦地裁に集団訴訟を起こした。Netflix の年次報告書によれば、原告は Netflix Prize のためのデータ公開が会員のプライバシーを侵害したと主張し、レンタル記録の開示を禁じる1988年の映像プライバシー保護法や、カリフォルニア州法などに基づいて損害賠償と差し止めを求めた。原告の Jane Doe は、記録から自分の性的指向が特定・推測されれば、家族を支える生活が脅かされると訴えた。

2010年3月12日、Netflix の最高製品責任者 Neil Hunt は自社ブログで、FTC から第2回が会員のプライバシーにどう影響するかを問われ、訴訟も起こされたと説明した。そのうえで、FTC と合意に達し、訴訟は和解したとして、第2回は開かないと発表した。Hunt はこの続編を2009年8月6日に発表したものとしている。

社会に残したもの

得たものは大きかった。Netflix は外部の研究者の手で推薦の中核技術を手に入れ、研究者は大規模な実データと明確な課題を得た。チームの合流で壁を越えたという結末は、多数のモデルを組み合わせるアンサンブルの強さを示した。

一方で、利用者の側には、匿名化は完全な防御にならないという教訓が残った。氏名や ID を消しても、行動の組み合わせそのものが個人を指してしまう。行動データの扱いは、のちの Cambridge Analytica 事件 でも別の形で問われることになる。

AI 全体の流れは AI の年表 に、プライバシーや労働の論点は AI と社会の年表 にある。