BERT 公開 ── Transformer 双方向事前学習

2018年10月11日、 Google AI の Jacob Devlin、 Ming-Wei Chang、 Kenton Lee、 Kristina Toutanova が論文「BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding」を arXiv に投稿した（arXiv:1810.04805）。 翌年6月の NAACL-HLT 2019 で正式発表され、 Best Long Paper を受賞している。

論文が主張したのは、 11種類の自然言語処理タスクでの記録更新だった。 数字は抄録に列挙されている ── いずれも BERT-Large の結果である。

SQuAD v1.1 の 93.2 は、 同ベンチマークのリーダーボードが載せていた人間の参照値（Test F1 91.2、 2018年12月10日時点）を上回る。 ただしこれは「機械が人間の読解力を超えた」ことを意味しない ── SQuAD は与えられた短い段落から答えの範囲を切り出す課題であり、 人間の参照値もその課題での注釈者一致率にすぎない。

BERT の中身

BERT（Bidirectional Encoder Representations from Transformers）は、 2017年の Transformer 論文（Vaswani et al.）から派生した エンコーダのみのモデル。 入力文をベクトル表現（embedding）に変換することに特化している。

主な技術的貢献は二つ。

1. 双方向の事前学習。 同年6月に登場していた GPT は左から右への自己回帰モデル（次のトークンを予測する）で、 ある位置を処理するとき右側の文脈を見られなかった。 BERT は マスクド言語モデル（MLM） を採用する ── 各系列の WordPiece トークンのうち15%を予測対象に選び、 そのうち80%を [MASK] に置換、 10%をランダムなトークンに置換、 残り10%はそのまま残したうえで、 元のトークンを当てさせる。 [MASK] はファインチューニング時には現れないため、 この非対称な置換で事前学習と微調整のずれを緩和している。 結果、 各トークンが左右両方の文脈に同時にアクセスできる。

2. 「事前学習＋ファインチューニング」のパラダイム。 BooksCorpus（8億語）と英語版 Wikipedia（25億語）で事前学習しておき、 個別タスク（質問応答、 感情分析、 文書分類など）には出力層を1枚足して軽く微調整するだけで済む。 タスク専用アーキテクチャを設計する時代が終わった。

モデルサイズは2種類。 BERT-Base（L=12、 H=768、 A=12、 110M パラメータ）と BERT-Large（L=24、 H=1024、 A=16、 340M パラメータ）。 Base は比較のため OpenAI GPT と同サイズに揃えられている。 当時としては巨大だったが、 2年後の GPT-3（175B）に比べれば三桁小さい。

業界の反応

論文公開から1ヶ月後の2018年11月、 Google は事前学習済みモデルと TensorFlow コードを GitHub で公開した。 重みが手に入ったことで、 研究者・企業が自社データで微調整できるようになり、 NLP の現場が一気に動いた。

直後に派生モデルが続々と登場 ── RoBERTa（Facebook、 2019年7月、 訓練レシピ改善）、 ALBERT（Google、 2019年9月、 パラメータ共有で軽量化）、 DistilBERT（Hugging Face、 2019年10月。 著者らは BERT より40%小さく60%速く、 言語理解性能の97%を保つと主張した）、 XLNet、 ELECTRA、 さらに多言語版 mBERT、 日本語版、 医療版 BioBERT、 法律版 LegalBERT …。 「BERT 系」が NLP 研究の標準語彙になった。

Google Search への統合

2019年10月25日、 Google の Pandu Nayak（Google Fellow / Search 担当 VP）が、 BERT を検索に投入したと発表した。 範囲は限定されている ── 「BERT will help Search better understand one in ten searches in the U.S. in English」。 全世界の全クエリではなく、 米国の英語検索の10件に1件である。 加えて、 featured snippet については当時提供されていた二十数か国で BERT モデルを使い、 韓国語・ヒンディー語・ポルトガル語などで大きな改善が見られたとしている。

Nayak はこれを "the biggest leap forward in the past five years, and one of the biggest leaps forward in the history of Search"（過去5年で最大の前進であり、 検索の歴史でも最大級の前進のひとつ）と表現した ── Google 自身による自社評価である。

2019年12月9日には70言語超へ拡大。 2020年10月15日の Search On で、 Prabhakar Raghavan が "BERT is now used in almost every query in English" と述べている。

「research → production まで1年」という速度は、 当時としては破格だった。 NLP の学術成果が、 数十億人が毎日使うサービスに直接落ちる経路が示された。

タスク専用モデルの終わり

BERT 以前の NLP は、 タスクごとに専用モデルを設計・訓練するのが当たり前だった。 翻訳には Seq2Seq、 質問応答には別の構造、 感情分析にはまた別 ── という具合に。

BERT が示したのは、 「大規模な汎用モデルを一度訓練し、 軽い微調整で何にでも使える」 という設計思想である。 これは現代のあらゆる LLM（GPT-3、 ChatGPT、 Claude、 Gemini）の基盤的アイデアであり、 2018年の時点で確立された。

GPT（OpenAI）と BERT（Google）の対比も象徴的だった ── GPT は デコーダのみ（生成に強い）、 BERT は エンコーダのみ（理解に強い）。 両者はその後、 T5、 BART などのエンコーダ・デコーダ型を経て、 最終的に GPT 系の デコーダのみ＋スケール拡大が主流になっていく。 だが2018〜2022年の NLP は、 間違いなく BERT 系が主役だった。

340M のエンコーダが今も使われる理由

BERT の論文は、 Semantic Scholar の集計で2026年8月時点の被引用数が 11万9千件。 単一論文としては機械学習史上トップクラスである。

技術的には、 ChatGPT（2022年11月）以降の生成モデル全盛で BERT 系の存在感は相対的に下がった。 それでも、 検索・分類・埋め込み生成のように「文を理解してベクトルにする」用途では、 340M のエンコーダが数百億パラメータの生成モデルより合理的な選択であり続けている。

「事前学習＋ファインチューニング」「Transformer ベースの汎用言語モデル」「重みを公開して研究コミュニティ全体を加速させる」 ── これら現代 AI の前提は、 すべて BERT が2018年に敷いたレールの上にある。

ChatGPT が世間を驚かせる4年前に、 NLP の研究現場では既にパラダイムが切り替わっていた。 BERT はその切り替えの瞬間そのものだった。