IBM の統計的機械翻訳 ── 翻訳を規則からデータの問題へ

統計的機械翻訳の出発点として知られるのが、IBM トーマス・J・ワトソン研究所の Peter F. Brown、John Cocke、Stephen A. Della Pietra、Vincent J. Della Pietra、Fredrick Jelinek、John D. Lafferty、Robert L. Mercer、Paul S. Roossin が1990年6月の Computational Linguistics（16巻2号、79〜85ページ）に発表した論文「A Statistical Approach to Machine Translation」である。言語学者が文法と辞書の規則を書き込む代わりに、カナダ議会の英仏対訳の議事録から単語の対応と語順の確率を学ばせ、フランス語を英語に訳した。結果はまだ粗かったが、翻訳を「規則の問題」から「データの問題」に置き換えるというこの発想は、2006年の Google 翻訳を経て、今日のニューラル機械翻訳と大規模言語モデルにまで続いている。

1949年の発想を40年後に

論文の書き出しによると、機械翻訳を統計と情報理論で攻めるべきだと最初に提案したのは、1949年の Warren Weaver だった。Claude Shannon らが情報理論を作っていた時期である。研究者たちは理論的な反論を挙げてこの路線をすぐに捨てたが、Brown らは、本当の障害は計算機の非力さと、統計を取るための機械可読なテキストの不足にあったと見る。1990年の計算機は1950年より5桁速く、数億バイトの記憶を持ち、大量のテキストも手に入る。統計的手法は音声認識ですでに価値を示している ── そう述べたうえで、論文は "We feel that it is time to give them a chance in machine translation." と書いた。米国学術研究会議の歴史書は、著者の1人である Jelinek と IBM の音声研究グループが、統計的言語モデルによって音声認識技術に大きく貢献したと記している。

なお同じ著者たちは、1988年の国際会議 COLING で「A Statistical Approach to Language Translation」という予備的な版を発表している。

翻訳を確率で考える

論文の枠組みは単純である。フランス語の文 T が与えられたとき、それを生み出した英語の文 S のうち最も確からしいものを選べば、誤りの確率が最小になる。ベイズの定理を使うと、これは「言語モデル」Pr(S) と「翻訳モデル」Pr(T|S) の積を最大にする S を探すことに等しい。言語モデルは英語としての自然さを、翻訳モデルは単語の対応を受け持つ。論文の言い方では、翻訳モデルはどの英単語が使われたかを示唆し、言語モデルはそれをどう並べるかを示唆する。単語どうしの対応（アライメント）は人が教えず、音声認識で使われていた EM アルゴリズムで対訳から推定した。

カナダ議会の議事録という教材

学習に使ったのは、英語とフランス語の両方で記録されるカナダ議会の議事録「Hansard」である。論文によれば、IBM はカナダ政府から英語約1億語とそれに対応するフランス語を入手し、文の長さに基づく統計的な手法で約300万組の文対を取り出した。そのうち約99%は実際に互いの翻訳になっていた。

二言語で公文書を残すというカナダの制度が、意図せずして大規模な対訳コーパスを生み、それが機械翻訳の教材になった。公的な記録や人の書いた文章が、作成者の想定しない形で機械の学習に使われるという構図は、ここで早くも現れている。

結果 ── 48%と60%

仏→英の実験では、73文を訳した結果を5つに分類した。

著者たちは上の3分類を妥当な翻訳とみなし、その基準で成功率を48%とした。さらに著者の1人が、誤りのある訳を正しく直すのに必要なキー操作を数えると776回で、議事録の訳を一から打つ1,916回と比べて、作業量をおよそ60%減らせるとした。ただし論文自身が、翻訳時間をキー操作の数と同一視できる限りにおいて、と条件を付けている。しかも翻訳モデルには手元のデータの約1%、言語モデルには約10%しか使っていなかった。

この「訳し直しの手間がどれだけ減るか」という測り方は、のちに機械翻訳が人の翻訳者の仕事を置き換えるのか、下書きを作る道具になるのかという議論の、早い原型でもある。

規則からデータへ

1990年の論文の時点では、実用の機械翻訳は規則に基づくものだった。Google の研究者 Franz Och は2006年4月28日のブログで、当時の商用システムの多くは言語学者が語彙と文法を定義することに大きく頼っていると説明し、それに対して Google の方式は数十億語のテキストを計算機に与え、統計的な学習で翻訳モデルを作るものだと書いた。このとき Google はアラビア語と英語の統計的機械翻訳を公開している。

その10年後の2016年、Google は ニューラル機械翻訳 へ移った。翌年の Transformer も機械翻訳の論文として発表されている。言語学者の書く規則よりも大量の対訳データを、という1990年の発想は、翻訳の仕事のあり方や、学習データを誰が提供し誰が利益を得るのかという、その後の AI 全体に関わる問いにもつながっている。