ImageNet ── 5万人の手で作った画像の辞書

ImageNet（イメージネット）は、プリンストン大学の Jia Deng、Fei-Fei Li らが作った大規模な画像データベースである。2009年6月にマイアミで開かれたコンピュータビジョンの国際会議 CVPR 2009 で論文「ImageNet: A Large-Scale Hierarchical Image Database」を発表し、その時点で英語の語彙体系 WordNet の5,247の概念に対して、人の目で確かめた320万枚の画像を集めていた。ラベルの確認には Amazon Mechanical Turk の作業者を大量に使った。公式サイトの現在の表示は14,197,122枚、21,841の概念で、非商用の研究目的なら無償で使える。

「ImageNet とは何か」を一言で言えば、アルゴリズムではなくデータの規模で画像認識を変えようとした試みである。2012年に深層学習が画像認識で大勝した舞台は、このデータで開かれたコンテストだった。その勝利そのものは AlexNet のページで扱い、ここではデータセットがどう作られ、何を残したかを書く。

着想から CVPR 2009 まで

Quartz の Dave Gershgorn の記事によると、Fei-Fei Li は2006年にこの構想を練り始めた。同じ年にプリンストン大学を訪れて WordNet の研究者 Christiane Fellbaum と会い、数か月後に同大学の教員となって、2007年初めに ImageNet に着手した。Li は2015年の TED の講演で、Kai Li 教授とともに2007年に ImageNet を始めたと語っている。

初めは学部生にラベルを付けさせたが時間がかかりすぎ、Li の説明では、申請した連邦政府の研究助成にも一つも採択されなかった。行き詰まりを解いたのは、廊下での大学院生との会話で知った Amazon Mechanical Turk だった。インターネット上で細かな作業を小額の報酬で請け負う作業者を集める仕組みである。Mechanical Turk を見つけた後も、完成までに2年半かかった。

論文は、最終的に WordNet の約8万の名詞概念の大半に500〜1,000枚ずつ、合計で数千万枚、5,000万枚程度の画像を集めることを目標に掲げた。既存のデータセットには無い147種類の犬のカテゴリを持つなど、階層の細かさを強みにしている。

Gershgorn の記事によれば、CVPR では口頭発表ではなくポスター発表しか認められず、チームは ImageNet のロゴ入りのペンを配って関心を集めようとした。データを増やせばアルゴリズムが良くなるという考え方そのものが、まだ疑われていた。

5万人の手による仕分け

ImageNet の作り方は2段階である。まず各概念の同義語で複数の画像検索エンジンに問い合わせ、親の概念の語を足したり、中国語・スペイン語・オランダ語・イタリア語に訳したりして候補を増やした。論文によれば、重複を除いても1概念あたり平均1万枚を超える候補が集まった。次に、Mechanical Turk の作業者が候補画像を1枚ずつ見て、その概念に合うかどうかを投票した。

作業者は間違えるし、意見も割れる。論文は、同じ画像を複数の作業者に独立に判定させ、十分な多数が賛成したものだけを採用した。猫なら少ない票で足りるが、ビルマ猫のような細かい概念には多くの票が要る。そこで概念ごとに最初の画像に少なくとも10人の票を集め、何票そろえば正しいとみなせるかを動的に決めた。

規模について、Li は2015年の講演で、167か国の約5万人の作業者が10億枚近い候補画像の仕分けに加わったと述べ、最盛期の ImageNet は Mechanical Turk の作業者の最大級の雇い主の一つだったと語っている。

ILSVRC ── データセットからコンテストへ

2010年からは、ImageNet の一部を使う画像認識コンテスト ILSVRC（ImageNet Large Scale Visual Recognition Challenge）が毎年開かれた。主催者の論文によれば、ILSVRC は2005年に始まった欧州の PASCAL VOC の流れを継ぎ、規模を桁違いに広げた。PASCAL VOC 2010 の画像は19,737枚・20分類だったのに対し、ILSVRC 2010 は1,461,406枚・1,000分類である。分類部門では約120万枚の学習画像が配られた。

Gershgorn の記事で Alex Berg は、ImageNet で学習させたモデルを別の認識課題の出発点に使えることが、思いがけない発見だったと振り返っている。

社会への影響 ── 誰の写真で、誰が仕分けたか

Gershgorn の記事は ImageNet を、アルゴリズムではなくデータが AI 研究の向きを変えた例として描いている。同時に ImageNet は、そのデータが誰の労働で作られ、誰の姿が写っているかという問いも残した。

2019年9月、Kate Crawford と Trevor Paglen は論考「Excavating AI」で、ImageNet の人物カテゴリを批判した。写真は写っている人の知らないうちに、同意なくインターネットから集められていた。ラベルには人種や性別に関わる侮辱語が含まれ、外見から人柄を読み取れるかのような分類になっていると指摘した。2人は、データセットは中立な素材ではないと論じている。

管理者側も動いた。Kaiyu Yang、Fei-Fei Li、Jia Deng、Olga Russakovsky らは2019年12月に公開した論文で、人物の部分木の2,832カテゴリのうち1,593を不適切と判断し、それに属する600,040枚とともに削除する方針を示した。残る1,239カテゴリのうち、写真から見て判別できるのは158にすぎないとも報告している。論文自身、WordNet の語彙が古く、2009年の構築時の除外が不完全だったことを認めている。2021年3月には、ILSVRC の画像に写り込んだ人の顔をぼかしても認識精度の低下は1.0%以内にとどまるという研究を発表した。

労働の面では、ImageNet は世界中の作業者に細切れの作業を小額で請け負わせて学習データを作る方式の先例になった。Gershgorn の記事は、その後スタートアップも Mechanical Turk の作業者を使って独自のデータセットを集め始めたと伝えている。

同じ時代の AI の流れは AI の年表 に、AI と労働・倫理の問題は AI と社会の年表 にある。家庭用ロボットの学習データが流出した例は ルンバ のページで扱っている。