GPT-4 発表 ── マルチモーダルへ

GPT-4 は2023年3月14日に OpenAI が発表した大規模言語モデルである。発表と同じ日から、有料の ChatGPT Plus の利用者は利用上限付きで GPT-4 を使えた。開発者向けの API は順番待ちの登録者を少しずつ招く形で始まり、2023年7月6日に支払い実績のあるすべての API 開発者へ開放された。発表文に提供する国や地域を限る記述はなく、提供の経路は ChatGPT Plus と API というオンラインのサービスだった。

OpenAI は GPT-4 を、画像とテキストを入力に取りテキストを返す大規模マルチモーダルモデルと紹介した。ただし画像入力は、発表時点では一般には公開されていなかった。

発表と提供の時系列

発表日の提供条件

2023年3月の発表ページ（Internet Archive の保存版で確認できる）は、提供の条件を具体的に書いている。

画像入力について、発表ページは "Image inputs are still a research preview and not publicly available." と書いている。より広く提供する準備として、OpenAI は1社のパートナーとだけ協力を始めていた。リンク先は視覚障害者を支援するアプリの Be My Eyes だった。ChatGPT の利用者に画像入力が届き始めたのは半年後の2023年9月25日で、OpenAI はこの日、Plus と Enterprise の利用者へ2週間かけて音声と画像の機能を展開すると発表した。

何が新しかったか

OpenAI は GPT-4 を、多くの現実の場面では人間に及ばないものの、さまざまな専門・学術のベンチマークで人間並みの成績を示すモデルと説明した。例として挙げたのが、模擬の司法試験で受験者の上位10%前後の点を取ったことで、前世代の GPT-3.5 は下位10%前後だった。

開発の過程も語られている。OpenAI は2年かけて深層学習の基盤を作り直し、Azure と共同でスーパーコンピュータを一から設計した。1年前に GPT-3.5 をその試運転として学習させ、GPT-4 の学習は、性能を事前に正確に予測できた初めての大規模モデルになったという。発表までの6か月間は、敵対的なテストと ChatGPT の経験を生かした調整に充てたとしている。同時に、モデルを評価する枠組み OpenAI Evals をオープンソースで公開した。

試験の成績と、その再評価

技術レポートは、多数の試験での成績を表にまとめた。その一部が次のとおりである。

いちばん注目を集めた司法試験の順位には、後に疑問が出た。Eric Martínez は2024年に Artificial Intelligence and Law 誌に載った論文で、上位10%という推定は2月実施回の受験者との比較に基づくが、2月の受験者は7月に不合格だった再受験者に偏っており、一般の受験者より点が低いと指摘した。そのうえで、7月実施回のデータと比べると GPT-4 は69パーセンタイル未満（論述は約48）、初回受験者と比べると約62パーセンタイル（論述は約42）、合格者に限ると約48パーセンタイル（論述は約15）と推定している。

AP 試験の結果も一様ではない。生物・環境科学・マクロ経済では最高の5を取った一方、英語の2科目はどちらも5段階の2で、GPT-3.5 と変わらなかった。

開示されなかったもの

技術レポートは GPT-4 を、文書の次のトークンを予測するよう事前学習した Transformer 型のモデルで、公開データと第三者からライセンスを受けたデータを使い、人間のフィードバックによる強化学習（RLHF）で調整したと説明した。それ以上の詳細は書かれていない。レポートの言葉はこうである。

"Given both the competitive landscape and the safety implications of large-scale models like GPT-4, this report contains no further details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar."

モデルの規模 ── パラメータ数 ── は、OpenAI からは公表されていない。前世代の GPT-3 が論文で1750億パラメータと明かしたのとは対照的である。事前学習データの大半は2021年9月までのもので、それ以降の出来事はほとんど知らないとも書かれている。

同じ時期に起きていたこと

GPT-4 の発表日、Anthropic も対話型モデル Claude の提供を始めた。8日後の3月22日、Future of Life Institute は、GPT-4 より強力な AI システムの学習を少なくとも6か月停止するよう全 AI 研究所に求める公開書簡を出した。GPT-4 は性能の目安であると同時に、規制と安全をめぐる議論の基準点にもなった。

翌2024年5月13日、OpenAI は音声・画像・テキストを実時間で扱う GPT-4o を発表した。Ars Technica によれば、OpenAI は2025年4月10日の変更履歴で、4月30日をもって GPT-4 を ChatGPT から退役させ GPT-4o に完全に置き換えると告知し、API では引き続き提供するとした。

GPT-4 の位置

GPT-4 は、ChatGPT の公開から3か月半後に出た。OpenAI の計算基盤は Microsoft の Azure で、その提携は 2019年の投資に始まり、2023年1月にさらに拡大したばかりだった。用語は 大規模言語モデル と 基盤モデル、流れは AI の年表、企業は OpenAI にある。