Claude のコンピュータ使用 ── 画面を見てマウスを動かす AI

2024年10月22日、Anthropic はアップグレードした Claude 3.5 Sonnet とともに、コンピュータ使用（computer use）をパブリックベータとして公開した。開発者が指示すると、Claude は画面のスクリーンショットを見て、カーソルを動かし、ボタンをクリックし、文字を入力する。専用の API を持たないソフトウェアでも、人間向けの画面さえあれば操作できるということである。Anthropic API、Amazon Bedrock、Google Cloud の Vertex AI から使えた。

「Computer Use とは何か」に一言で答えるなら、AI に人間と同じ画面・マウス・キーボードを与える仕組みである。それまでの AI がソフトウェアを操作するには、操作ごとに API をつなぐ必要があった。コンピュータ使用は、その接続を画面という共通の入口に置き換えた。ただし公開時の Anthropic 自身の評価は控えめで、発表文は「at times cumbersome and error-prone」（ときに扱いにくく誤りも多い）実験段階の機能だと書いている。

どう動くのか

Claude は画面を連続した映像としてではなく、一定の間隔で撮るスクリーンショットとして見る。Anthropic はこれをパラパラ漫画にたとえ、その間に起きた短い通知や動きは見落としうると説明した。開発の鍵は、画面上のどこにカーソルを動かせばよいかを、画素を数えて正確に指定させる訓練だったという。

開発者は Anthropic が用意したサンプル環境（Docker コンテナ）で試すことが多かった。開発者の Simon Willison は公開当日にこの環境で試し、自分のサイトからペリカンの写真を探す依頼は一度で成功した一方、数独には苦戦したと報告している。

OSWorld は、Ubuntu・Windows・macOS といった実際の OS の上で AI に作業をさせる評価である。OpenAI の資料によれば、同じ評価での人間の成績は72.4%で、公開時の Claude との差は大きかった。同じ日に、Claude 3.5 Sonnet のコード評価 SWE-bench Verified の成績は33.4%から49.0%に上がったと発表されている。

失敗から見えたもの

Anthropic は開発の記録の中で、デモ収録中の失敗も公表した。長時間の画面録画を Claude が誤ってクリックで止めてしまい、映像がすべて失われたこと。コーディングのデモの途中で手を止め、イエローストーン国立公園の写真を眺め始めたこと。人間向けの画面は、AI にとっても気が散る場所だった。

最大の懸念 ── プロンプトインジェクション

画面を読む AI は、画面に書かれた指示にも従いうる。Anthropic は公開時から、画面上の内容に仕込まれた悪意ある指示が利用者の指示を上書きするプロンプトインジェクションを警告し、開発者に予防策を求めた。Willison も、Web ページの一文で Claude にファイルをダウンロードさせて実行させられることを示した研究者の実演を紹介し、機密データや重要な操作から Claude を隔離するよう勧めている。

Anthropic は選挙への悪用も警戒し、選挙関連の依頼を監視して、SNS への投稿や政府のサイトの操作から Claude を遠ざける分類器などを用意したと説明した。

この懸念は消えていない。2025年8月25日、Anthropic はブラウザの中で Claude を動かす Chrome 拡張を Max プランの1,000人で試験すると発表し、その中で、対策なしのブラウザ操作では123件の試験で攻撃成功率が23.6%だったこと、対策を加えた自律モードで11.2%まで下げたことを公表した。半分以下にはなったが、ゼロではない。同社は同じ文章で、ブラウザを使う AI は避けられない流れだとの見方も示している。

その後の伸び

約3か月後には OpenAI が同じ発想の Operator を消費者向けに出し、画面を操作する AI は1社の実験から業界の競争分野になった。OSWorld の数字は1年で4倍以上になり、人間の水準に近づいている。いずれも開発元が公表した値である。

何を変えたのか

コンピュータ使用は、「AI に仕事を任せるには、まず AI 向けの接続口を作る」という前提を崩した。業務システムの多くは API を持たず、人間が画面で操作することを前提にしている。画面を読める AI は、そうした古いシステムにもそのまま入っていける。その反面、利用者のブラウザや PC で動く AI は、利用者が見るのと同じ悪意あるページを見る。便利さと危うさが同じ入口から入ってくる点が、この技術の特徴として残った。

画面操作ではなくコードの世界で同じ考え方を進めたのが Claude Code で、外部ツールへの接続を標準化したのが MCP である。早期の試験企業に名前のある Cognition の製品は Devin のページにある。同じ時代の出来事は AI の年表 で追える。