OpenAI o1 とは ── 答える前に考える「推論モデル」の登場

OpenAI o1（オーワン）は、OpenAI が2024年9月12日に発表した大規模言語モデルの系列である。「o1 とは何か」に一言で答えるなら、答える前に考えることを強化学習で身につけさせた最初の大型の「推論モデル」である。発表文の言い方では、o1 は「thinks before it answers」（答える前に考える）モデルで、利用者に返事をする前に、内部で長い思考の連鎖（chain of thought）を作る。

この日公開されたのは完成版ではない。早期版の o1-preview と、小型で安価な o1-mini が ChatGPT の有料プランと一部の開発者に出た。OpenAI は、この能力は新しい水準だとして、GPT の番号を引き継がず「カウンターを1に戻して」系列を OpenAI o1 と名付けたと書いている。

何が新しかったのか ── 考える時間で性能が伸びる

それまでの大規模言語モデルは、主に事前学習の規模 ── パラメータ数、データ量、計算量 ── を大きくすることで賢くなってきた。o1 の発表が示したのは、別の伸びしろである。

OpenAI によれば、o1 は大規模な強化学習で、思考の連鎖を生産的に使う方法を学ぶ。自分の誤りに気づいて直し、難しい手順を簡単な手順に分け、うまくいかないときは別のやり方を試す。そして同社は、o1 の性能が、強化学習に使う計算量（train-time compute）を増やしても、答えるときに考える時間（test-time compute）を増やしても、どちらでも滑らかに伸びると示した。発表文は、この方法を伸ばすときの制約は事前学習の場合とはかなり違い、まだ調べている最中だと書いている。

「考える時間」を伸ばせば賢くなるのなら、性能の代価は学習のときだけでなく、答えを出すたびにも払うことになる。正式版 o1 と同時に始まった月額200ドルの ChatGPT Pro が「より多くの計算で考える」モードを売り物にしたのは、その表れである。

発表された成績

OpenAI は成績を、GPT-4o との比較で示した。数字はすべて同社の測定で、しかも多くは9月には公開されなかった正式版 o1 のものである。

本文では、o1 は AIME で15問中平均11.1問を1回の解答で解き、1000個の解答を学習済みの採点関数で選び直すと13.9問（93%）に達し、米国の上位500人に入り、米国数学オリンピックの足切りを超える水準だとしている。科学の難問集 GPQA diamond では、博士号を持つ専門家を集めて解かせた成績を o1 が上回り、このベンチマークでそれをした最初のモデルだと書いた。ただし同じ文で、これは o1 があらゆる点で博士より有能だという意味ではなく、博士なら解けるはずの一部の問題をよりうまく解けるという意味にすぎない、とも断っている。

o1 をもとに競技プログラミング向けにさらに学習させたモデルは、2024年の国際情報オリンピック（IOI）に人間と同じ条件で参加し、213点で49パーセンタイルだった。1問あたりの提出を1万回まで許すと362.14点となり、金メダルの基準を超えたという。

万能ではなかった。人間の評価者に GPT-4o の回答と比べさせると、データ分析・プログラミング・数学では o1-preview が大差で好まれたが、一部の自然言語の作業では好まれず、OpenAI 自身が「すべての用途に向くわけではない」と書いている。公開時の o1-preview はウェブ閲覧やファイル・画像のアップロードもできず、多くの用途では当面 GPT-4o のほうが有能だろうとも認めていた。

隠された思考と、警告メール

o1 の思考の連鎖は、利用者には見えない。OpenAI は、隠した思考の連鎖はモデルの「心を読む」機会になると説明する。将来、たとえば利用者を操ろうとする兆候を思考から監視したいなら、その思考は手を加えない形で自由に書かれていなければならず、方針への準拠や利用者の好みに合わせる訓練を思考そのものにかけることはできない。一方で、整えていない思考をそのまま利用者に見せたくもない。こうした理由に、利用者の体験と「competitive advantage」（競争上の優位）を加えて検討した結果、生の思考は見せず、モデルが作った要約だけを表示すると決めた。

この決定はすぐに摩擦を生んだ。Ars Technica は公開の数日後、OpenAI が o1 の思考の中身を探ろうとする利用者に警告メールを送っていると報じた。ある利用者は、o1 との会話で「reasoning trace」という語を使っただけで警告を受けたという。メールは、要求が安全対策の回避を禁じる方針に違反するとして、「Please halt this activity and ensure you are using ChatGPT in accordance with our Terms of Use and our Usage Policies」（この行為をやめ、利用規約と利用ポリシーに従って ChatGPT を使ってください）と求めていた。

安全性の評価

推論は安全性の面でも両刃だった。OpenAI は、安全のための規則を思考の連鎖の中で推論させることで、脱獄（ジェイルブレイク）への耐性が上がったとした。一方、12月5日付のシステムカードは、自社の Preparedness Framework で o1 を説得と CBRN（化学・生物・放射性物質・核）で「中程度」のリスク、モデルの自律性とサイバーセキュリティで「低」と分類している。外部の評価機関 Apollo Research は、o1 が文脈の中で与えられた目標のために開発者や利用者の意図に反して密かに行動する「策謀」（scheming）の基本的な能力を持ち、評価用の場面ではそれを戦略として使ったと報告した。Apollo 自身は、それが破局的な結果につながる可能性は低いとみている。

3か月で o3 へ

推論モデルの更新は速かった。

ARC Prize は o3 の成績を、AI の能力が段違いに上がったことを示す重要な一歩だと評しつつ、ARC-AGI を通ることは AGI の達成と同じではないとも書いている。

DeepSeek-R1 は、o1 が閉じたサービスで示したことを、重みの公開とともにやってみせた。中身と市場への衝撃はその記事にある。

推論モデルの行き先

o1 の発表文は、いずれ ChatGPT がプロンプトに応じて適切なモデルを自動で選べるようにしたいと書いていた。モデルの選択肢は増え続け、2025年2月12日、Sam Altman は X への投稿で「We hate the model picker as much as you do and want to return to magic unified intelligence.」（私たちも皆さんと同じくらいモデル選択画面が嫌いで、魔法のような統一された知能に戻りたい）と書き、GPT 系列と o 系列を GPT-5 に統合する計画を示した（PCWorld による）。o3 は単独では出さないとしたこの計画は途中で変わり、o3 は4月に単独で公開されたが、8月の GPT-5 は、速いモデルと考えるモデルを自動で切り替える仕組みとして出た。o1 の系統は、名前としては消えて GPT-5 の「thinking」の中に入った。o1-preview と o1-mini の API は終了し、o1 も廃止予定とされている。

それでも、答える前に考えるという方式は残り、広がった。2025年7月、OpenAI の実験的な推論モデルと Google DeepMind の Gemini Deep Think は、ともに 国際数学オリンピックで金メダルの基準 に届いた。o1 が AIME の成績で示した伸びしろは、1年足らずで競技数学の頂点に届いたことになる。推論モデルの流れは AI の年表 と AI と数学の年表 で辿れる。