---
title: "Computer Useとは？AIが画面を見て操作する仕組みとClaude・OpenAI・Geminiの違い【2026年10月】"
url: "https://www.issoh.co.jp/tech/details/11518/"
published: 2026-03-25
updated: 2026-10-28
categories: ["AIエージェント・MCP"]
publisher: "株式会社一創"
---

# Computer Useとは？AIが画面を見て操作する仕組みとClaude・OpenAI・Geminiの違い【2026年10月】

Computer Use（コンピューターユース）とは、AIモデルがパソコンの画面のスクリーンショットを見て「この座標をクリック」「この文字を入力」といった操作を返し、それをアプリケーションが実際のマウス・キーボード操作に変えて実行する機能です。モデル自身がパソコンにつながっているわけではありません。撮影と実行は毎回アプリケーションが受け持ち、操作後の画面をまたモデルに見せる、という往復を作業が終わるまで繰り返します。

2026年10月時点では、Anthropic（Claude）・OpenAI・Google（Gemini）がAPIとして提供しているほか、Claude Code、ChatGPTのデスクトップアプリ（Codex）、GitHub Copilotにも組み込まれています。この記事では、各社の公式ドキュメント（2026年10月26日時点）をもとに、ループの組み立て方、座標の表し方、安全機能の置き場所、向いている作業を整理します。Claude APIで実装する手順や料金は[Claude Computer Useの対応モデル・料金と実装手順](/tech/details/4002/)で扱っています。

## まとめ：Computer Useとは何か、どう動くのかの要点

- Computer Useは「スクリーンショット → モデルが操作を返す → アプリが実行 → 新しいスクリーンショットを返す」のループで動く。モデルは操作の**指示**を出すだけで、撮影と実行は利用者側のアプリケーションが担う。
- 使い方は2系統ある。自分でループを組む**API型**（Claude・OpenAI・Gemini）と、手元のPCを操作する**アプリ組み込み型**（Claude Code・ChatGPTデスクトップアプリ・GitHub Copilot）。後者をmacOSで使う場合は、「画面収録」と「アクセシビリティ」の権限が必要になる。Windowsへの対応は製品ごとに異なる。
- 座標の表し方が各社で違う。ClaudeとOpenAIは「返したスクリーンショットのピクセル座標」、Geminiは画面サイズに依らない**0〜999の正規化座標**。画像を縮小したら、アプリ側で実画面の座標へ戻す計算が要る。
- 画面を**画素として見る**ので、APIやDOMを持たないネイティブアプリも操作できる。その代わり遅く、座標の読み違いも起きる。Claude CodeとChatGPT（Codex）の公式ドキュメントは、MCPサーバーやコマンド、ブラウザ専用の手段で済む作業ではそちらを優先するよう案内している。
- 画面に映った文字もモデルへの入力になるため、プロンプトインジェクションが構造的なリスクになる。防御は、Claudeが既定で有効な分類器、Geminiがオプトイン（既定false）、OpenAIがアプリ側の設計原則と、置き場所が分かれる。

## Computer Useの定義と、使える製品のAPI型・アプリ組み込み型

「Computer Use」は、Anthropicが[2024年10月にClaude 3.5 Sonnet（新版）と同時に公開](https://www.anthropic.com/news/3-5-models-and-computer-use)したAPIのツール名から広まった呼び名です。現在はOpenAIの `computer` ツール、Geminiの `computer_use` ツールのように、各社が同じ構造の機能を同系統の名前で提供しています。

### API型：自分でループを組むClaude・OpenAI・Gemini

API型では、操作される環境（仮想マシン、コンテナ、ブラウザ）を開発者が用意し、スクリーンショットの撮影と操作の実行を自分のコードで書きます。Anthropicのリファレンス実装は、Ubuntuベースのコンテナに仮想ディスプレイのXvfbとウィンドウマネージャーを入れ、ブラウザ越しに画面を確認できる構成です。OpenAIのガイドは、Python・Node.jsのSDKに「driver」と呼ぶ実行部品を渡す使い方と、Browserbase・E2B・Daytonaなど外部のサンドボックスに接続する方法を案内しています。

### アプリ組み込み型：手元のPCを操作するClaude Code・ChatGPT・Copilot

アプリ組み込み型では、ループはアプリが持っており、利用者は依頼文を書くだけです。そのかわり操作対象は利用者の実際のPCになるため、OSの権限とアプリごとの許可で範囲を絞ります。2026年10月26日時点の提供条件は次のとおりです。

| 製品                     | 対応OS               | 条件                         | 有効化                         |
| ---------------------- | ------------------ | -------------------------- | --------------------------- |
| Claude Code（CLI）       | macOS              | Pro・Max（Team・Enterprise不可） | `/mcp` でcomputer-useをEnable |
| Claude Desktop         | macOS 14以降・Windows | Pro・Max（Team・Enterprise不可） | Settingsで有効化                |
| ChatGPTデスクトップアプリ       | macOS・Windows      | Work・Codex（提供地域のみ）         | Computer Useプラグインを導入        |
| GitHub Copilot CLI・app | macOS・Windows      | パブリックプレビュー                 | `/computer on` など           |

出典はそれぞれ[Claude Codeのcomputer useドキュメント](https://code.claude.com/docs/en/computer-use)、[ChatGPT・CodexのComputer Useドキュメント](https://developers.openai.com/codex/app/computer-use)、[GitHub Copilotのcomputer use解説](https://docs.github.com/en/copilot/concepts/agents/computer-use)です。Claude Codeの設定手順は[Claude Code computer useの設定と使い方](/tech/details/11600/)、Copilotの組織での止め方は[GitHub Copilot Computer Useの有効化手順と組織で止める設定](/tech/details/18302/)、ChatGPTデスクトップアプリ（Codex）の導入は[CodexをMacにインストールする方法](/tech/details/10842/)と[Windows版Codexの使い方](/tech/details/11247/)で解説しています。

3製品とも、Computer Useを独立した機能ではなく**MCPサーバーやプラグインの1つ**として載せています。Claude Codeは組み込みMCPサーバー「computer-use」、ChatGPTは「Computer Useプラグイン」（MCPサーバーとスキルのトグルを持つ）、Copilot CLIは同梱のcomputer-useプラグインです。利用を始める際は、製品ごとの設定でcomputer useのMCPサーバーまたはプラグインを有効にします。

## スクリーンショットと操作指示を往復させるエージェントループ

Computer Useの中核は、モデルとアプリケーションの間で繰り返される「エージェントループ」です。3社のドキュメントは、ほぼ同じ4段階で説明しています。

1. **依頼を送る**：アプリケーションが、Computer Useのツール定義・ユーザーの指示・（必要なら）現在のスクリーンショットをAPIに送る。
2. **操作が返る**：モデルが画面と指示を読み、クリック・入力・スクロールなどの操作を構造化データで返す。
3. **アプリが実行する**：アプリケーションが操作を解釈し、仮想マシンやブラウザで実際の入力に変換する。
4. **新しい画面を返す**：実行後のスクリーンショットを結果として送り、2に戻る。モデルが操作を返さなくなったら終了。

ツールの実行と結果の撮影を利用者のアプリケーションが受け持つ役割分担は、3社のドキュメントで共通です。

### モデルの操作指示とアプリケーションの実行責任

この分担から、安全設計の前提が決まります。モデルが返すのはJSONの指示にすぎないため、実行するかどうかはアプリケーションが最後に判断できます。購入ボタンのクリックや送信操作の前で止めて人に確認する処理は、モデルではなくループ側に書くことになります。逆に、ループ側が何も制限しなければ、モデルの指示はそのまま実行されます。Anthropicが専用の仮想マシンやコンテナで最小権限にして動かすよう勧めているのはこのためです。

### 1回の応答に複数の操作をまとめるバッチ実行

2026年10月時点の各社の仕様では、1回の応答に複数の操作を並べて返せます。

- **Claude**：1つの応答に複数の `tool_use` ブロック（クリック、入力、スクリーンショットなど）を返す「バッチアクション」。アプリは**出現順に**実行し、1つ失敗したら残りは実行しない。Claudeは通常、バッチを `screenshot` で締めくくる。
- **OpenAI**：1つの `computer_call` が、順序付きの `actions` 配列を持つ。ガイドの例では、検索欄のクリックと「penguin」の入力が1回の呼び出しに入っている。
- **Gemini**：操作は関数呼び出しとして返り、各操作に、その操作を選んだ理由を書いた `intent` フィールドが付く。

まとめて返せる分だけ往復は減りますが、途中の画面変化を見ないまま後続の操作が走るので、人の確認が要る操作の前では実行を止める作りにしておきます。

## 画面上の位置を数値で表す座標系の違い

位置を指定するクリックでは数値の座標が返ります。この座標の基準が各社で異なり、実装でつまずきやすいのはここです。

| 項目       | Claude     | OpenAI                   | Gemini       |
| -------- | ---------- | ------------------------ | ------------ |
| 座標の基準    | 返した画像のピクセル | 返した画像のピクセル               | 0〜999の正規化値   |
| 原点       | 左上         | 左上                       | 左上           |
| 実画面への変換  | 縮小倍率で割り戻す  | 縮小倍率で割り戻す                | ÷1000×画面幅・高さ |
| 画像サイズの扱い | 上限超過はエラー   | `detail: "original"` を推奨 | 任意（座標は正規化）   |

### ピクセル座標方式（Claude・OpenAI）と縮小時の割り戻し

Claudeは、返した全画面スクリーンショットのピクセル空間で座標を出します。`zoom` で一部を拡大して見た後でも、座標は全画面スクリーンショット基準のままです。現行の `computer_toolset_20260801` は画面サイズのパラメータを受け取らず、APIが画像を縮小することもないため、上限を超えた画像はエラーになります。上限は、[Claudeのcomputer use toolドキュメント](https://platform.claude.com/docs/en/agents-and-tools/tool-use/computer-use-tool)によると、Claude Opus 4.7以降の高解像度対応モデル（現行ツールセットの対応モデルを含む）で**長辺2,576ピクセル・ビジュアルトークン4,784**（幅÷28と高さ÷28を切り上げて掛けた値）、それ以前のモデルで長辺1,568ピクセル・約115万画素です。

高解像度の画面では、アプリ側で縮小して送り、返ってきた座標を同じ倍率で割り戻してからクリックします。OpenAIも、スクリーンショットを `detail: "original"` で送って解像度を保つよう勧めています。macOSのRetinaディスプレイは物理ピクセルで撮影されるため、Anthropicのクリックずれ診断表は「デバイスピクセル比2を考慮する」としています。撮影は物理ピクセル、マウス操作は論理ポイントという環境で倍率を合わせないと、クリックが一方向にずれ続けます。Claude Codeはこの縮小を自動で行い、16インチMacBook Proの3,456×2,234の画面を約1,372×887に縮めてから送ると説明しています。

### 正規化座標方式（Gemini）を実ピクセルへ戻す計算

Geminiは、画面を縦横0〜999の格子とみなした正規化座標で操作を返します。公式サンプルは、x÷1000×画面幅、y÷1000×画面高さで実ピクセルに戻しています。画面サイズが変わっても同じ変換式を使える点が、ピクセル座標方式との違いです。

2,560×1,600の画面で、2つの方式の変換を並べると次のようになります。Claudeは、ツールセット対応モデルの上限（長辺2,576ピクセル・4,784トークン）に収まるまで縮小する例です。

```
import math

# Claude（computer_toolset_20260801 対応モデル）: 長辺2576px以下・ビジュアルトークン4784以下に縮小して送る
def claude_fit(width, height, long_edge=2576, max_tokens=4784):
    scale = min(1.0, long_edge / max(width, height))
    while math.ceil(width * scale / 28) * math.ceil(height * scale / 28) > max_tokens:
        scale -= 0.001
    return scale, int(width * scale), int(height * scale)

def claude_to_screen(x, y, scale):
    return round(x / scale), round(y / scale)

# Gemini: 画面サイズに依らない 0-999 の正規化座標で指示が来る
def gemini_to_screen(x, y, width, height):
    return int(x / 1000 * width), int(y / 1000 * height)

screen_w, screen_h = 2560, 1600
s, img_w, img_h = claude_fit(screen_w, screen_h)
tokens = math.ceil(img_w / 28) * math.ceil(img_h / 28)
print("Claudeへ返す画像:", img_w, "x", img_h, "/", tokens, "トークン / 倍率", round(s, 3))
print("Claude (1210, 756) ->", claude_to_screen(1210, 756, s))
print("Gemini (500, 500) ->", gemini_to_screen(500, 500, screen_w, screen_h))
```

Python 3.9と3.14で実行すると、出力はどちらも次のとおりです。

```
Claudeへ返す画像: 2419 x 1512 / 4698 トークン / 倍率 0.945
Claude (1210, 756) -> (1280, 800)
Gemini (500, 500) -> (1280, 800)
```

2,560×1,600は長辺こそ2,576ピクセル以内ですが、そのままだと92×58＝5,336トークンで上限を超えるため、約0.945倍に縮める必要があります。Claudeが縮小画像の中央（1210, 756）を指したとき、割り戻すと実画面の中央（1280, 800）です。割り戻しを忘れると、実画面の（1210, 756）、つまり中央から左上へ70ピクセル・44ピクセルずれた位置をクリックします。Geminiの（500, 500）は、画面サイズが何であっても中央を指します。

## Claude・OpenAI・GeminiのComputer Use APIの比較

ループと座標以外の違いを、2026年10月26日時点の公式ドキュメント（[Claude](https://platform.claude.com/docs/en/agents-and-tools/tool-use/computer-use-tool)／[OpenAI](https://developers.openai.com/api/docs/guides/tools-computer-use)／[Gemini](https://ai.google.dev/gemini-api/docs/computer-use)）で並べます。

| 項目         | Claude                      | OpenAI                  | Gemini                 |
| ---------- | --------------------------- | ----------------------- | ---------------------- |
| ツール指定      | `computer_toolset_20260801` | `type: "computer"`      | `type: "computer_use"` |
| API        | Messages API                | Responses API           | Interactions API       |
| 操作の種類      | 17メンバー                      | 9種類                     | 環境ごとに定義                |
| 対象環境       | 利用者が用意                      | ブラウザ・デスクトップ             | browser・mobile・desktop |
| 確認の仕組み     | アプリ側で実装                     | `pending_safety_checks` | `safety_decision`      |
| インジェクション検知 | 分類器が既定で有効                   | アプリ側で対策                 | オプトイン（既定false）         |

### Claude：17のメンバーツールを持つツールセット

Claudeの現行版は、`tools` に `{"type": "computer_toolset_20260801"}` を1つ入れると、`screenshot`・`zoom`・`left_click`・`type`・`key`・`scroll`・`wait` など17のメンバーツールが使える形です。以前の `computer_20251124` は1つの `computer` ツールの `action` 引数で操作を切り替えていましたが、ツールセット版では操作名そのものがツール名になりました。Claude 5.5以降のモデルは、Claude APIとGoogle Cloudではこのツールセット版しか受け付けません。ツールセットを既定のメンバーで宣言すると、リクエストごとに約4,500入力トークンが加わります。移行手順や料金の内訳は[Claude Computer Useの実装手順の記事](/tech/details/4002/)にまとめています。

### OpenAI：computerツールと、コードを書かせる実行方式

OpenAIは、Responses APIの `tools` に `{"type": "computer"}` を指定します。返ってくる `computer_call` の操作は `click`・`double_click`・`drag`・`move`・`scroll`・`keypress`・`type`・`wait`・`screenshot` の9種類です。結果は `computer_call_output` に入れ、`previous_response_id` で会話を続けます（Responses API自体の考え方は[OpenAI Responses APIの解説](/tech/details/5961/)を参照）。

OpenAIのガイドには、もう1つの接続方法として**コード実行方式**があります。モデルが[PyAutoGUI](/tech/details/3600/)や[Playwright](/tech/details/3167/)を使うコードを書き、アプリがそれを隔離環境で実行して出力とスクリーンショットを返す方式です。1回の呼び出しにループや条件分岐を含められるので往復が減ります。ガイドはGPT-6 Astraではこちらを推奨し、computerツールは代替として引き続きサポートするとしています。座標を1つずつ返させる方式から、操作のコードを書かせる方式へ比重が移っている点は、各社を比べるうえで押さえておきたい変化です。OpenAIがcomputer useを得意分野に挙げる高速モデルGPT-6.1 Terraでのツール指定は、[GPT-6.1 Terraとは？料金・API仕様とSol・Lunaとの使い分け](https://www.issoh.co.jp/tech/details/19007/)で扱っています。

### Gemini：3つの環境別アクションとsafety\_decision

Geminiは、`computer_use` ツールの `environment` に `browser`・`mobile`・`desktop` のいずれかを指定し、環境ごとに操作の集合が変わります。ブラウザ環境には `navigate`（URLへ直接移動）や `go_back` があり、Android向けのモバイル環境にはアプリを開く操作や長押しがあります。対応モデルは、推奨の `gemini-3.8-flash`、最上位の `gemini-4-argon`、低遅延の `gemini-3.5-flash-lite`、プレビューの `gemini-3-flash-preview` です。

安全面では、応答に `safety_decision` が付くことがあり、内容は通常（許可）・`require_confirmation`（ユーザー承認が必要）・ブロックのいずれかです。承認が必要と判定されたら、アプリはユーザーに確認し、承認されたら `safety_acknowledgement` を付けて返します。判定は、決済（`FINANCIAL_TRANSACTIONS`）・メッセージ送信（`COMMUNICATION_TOOL`）・アカウント作成・利用規約への同意など7つのポリシー区分にもとづき、一部は `disabled_safety_policies` で外せます。OpenAIもAPIリファレンス上は `computer_call` に未処理の安全確認 `pending_safety_checks` を持ち、承認後に `acknowledged_safety_checks` で返す形です。Claudeには同種のフィールドがなく、確認の要否はアプリ側で決めます。Gemini APIの全体像は[Gemini APIの機能・料金と始め方](/tech/details/18759/)で扱っています。

## Computer Useが向いている作業と、使うべきでない作業

画面操作の自動化の方式は、「画面の何を手がかりに操作対象を特定するか」で分かれます。

| 方式                  | 手がかり         | 事前定義      | 苦手な場面      |
| ------------------- | ------------ | --------- | ---------- |
| Computer Use        | スクリーンショットの画素 | 不要（指示文のみ） | 速度・小さな要素   |
| テンプレートマッチング         | 登録した部品画像     | 部品画像      | 見た目の変更     |
| UIAutomation等       | OSのUI要素ツリー   | 要素の特定条件   | 要素情報のないアプリ |
| Selenium・Playwright | DOM・セレクター    | セレクター     | ブラウザ外のアプリ  |
| RPA（記録型）            | 要素・画像・座標     | 操作手順      | 想定外の画面     |

[テンプレートマッチング](/tech/details/16853/)も画素を手がかりにしますが、探す部品の画像を人が事前に用意し、見た目が変わると一致しなくなります。[UIAutomation](/tech/details/3395/)やSelenium・Playwrightは、要素の識別情報を指定して操作します。対象の要素情報を取得できることが前提です。Computer Useは指示文だけで画面の意味を読み取れる点で、これらと方向が逆です。GitHub Copilotはその中間で、まずOSのアクセシビリティツリーで画面の内容を読み、見た目の文脈が要るときだけスクリーンショットを使うと説明しています。

### 各社ドキュメントが示す手段の優先順位

Claude CodeのドキュメントはComputer Useを「最も守備範囲が広く、最も遅い」手段と位置づけ、次の順で手段を選ぶと説明しています。

1. 対象サービスのMCPサーバーがあればそれを使う
2. シェルコマンドで済むならBashを使う
3. ブラウザ作業で[Claude in Chrome](/tech/details/10373/)が設定済みならそれを使う
4. どれも当てはまらないときだけComputer Useを使う

ChatGPT（Codex）のドキュメントも同じ考え方で、専用のプラグインやMCPサーバーがあるアプリはそちらを優先し、ローカルで開発中のWebアプリは内蔵ブラウザで確認するよう書いています。Claude APIにも、Webページで完結する作業向けに、アクセシビリティツリーやフォームなどページの構造を読むbrowser useツール（`browser_toolset_20260801`）があり、ドキュメントは「Webページ内で完結するタスクにはこちらの方が適している」としています。Webページの側から機能をツールとして公開する[WebMCP](/tech/details/18816/)のような仕組みも出てきており、ブラウザ内の作業では、画素だけに頼らず、ページの構造や公開されたツールを使う方式も選べます。ブラウザ操作の方式全体の比較は[Browser Automationの4つの方式と選び方](/tech/details/9129/)で扱っています。

### 向いている作業と、避けるべき作業の判断基準

Computer Useを選ぶべきなのは、次のように**画面を通すしか手がない**作業です。

- 自分で作っているmacOS・Windowsアプリ、iOS Simulatorの画面を操作して動作を確かめる
- GUIでしか再現しないバグを再現し、修正後に同じ操作で確認する
- CLIやAPIを持たない設計ツール、機器の管理画面、社内の古い業務システムを操作する
- 複数のアプリをまたぐ手作業を、件数の少ないうちに一度通す

逆に、APIやCSV出力がある業務システムへの大量入力、毎日同じ手順を決まった回数だけ回す定型処理には使うべきではありません。1回ごとに推論の待ち時間と画像のトークン代がかかり、毎回同じ結果になる保証もないからです。決まった手順を正確に大量に回すならRPAやAPI連携、判断が要る部分だけをAIエージェントに任せるなら両者の組み合わせが現実的です。RPAとAIエージェントを組み合わせる設計は、一創の[RPA×AIエージェント連携（インテリジェントオートメーション）](/service/rpa/ai-agent/)でも支援しています。

## 遅さと誤操作が仕組みから生じる理由

### 画面確認のターンごとに生じる画像送信と推論のコスト

画面を確認するターンごとに、アプリ側の撮影、画像のアップロード、モデルの推論、操作の実行が挟まります。Anthropicは制約事項の1番目に遅延を挙げ、人が直接操作する場合と比べて遅すぎることがあるとして、バックグラウンドでの情報収集や自動テストのように速度が重要でない用途を勧めています。

Anthropicは履歴管理の説明で、スクリーンショット1枚を約1,000〜1,800入力トークンと概算しています。ただし、実際の量はモデルと画像サイズによって変わります。Claudeの画像トークンは28×28ピクセルのパッチ数で数えるので、1,280×720なら46×26＝1,196トークン、1,920×1,080なら69×39＝2,691トークンです。履歴を残したまま数十ターン回すと画像が1リクエストに20枚を超え、1枚あたりの許容サイズがさらに厳しくなります。長いループほど、古いスクリーンショットの整理が設計課題になります。

### 座標の読み違い・ドロップダウン・スクロールで起きる誤操作

Anthropicの制約事項には、座標を出力するときに誤りや幻覚が起きうること、ドロップダウンやスクロールバーのようにマウス操作が難しい要素があること、スクロールが効かないアプリがあることが並んでいます。対策も公式に示されています。

- ドロップダウンやスクロールバーは、マウスではなくキーボードショートカット（Page Down等）での操作を促す
- 「各手順の後にスクリーンショットを撮り、成功したかを確認してから次へ進む」と指示する（結果を確かめずに成功を前提にすることがあるため）
- 小さな要素を外すときは `zoom` を有効にし、縮小時に縦横比を崩さない。画面解像度は、一般的なデスクトップ作業なら1,024×768か1,280×720、Webアプリなら1,280×800か1,366×768が推奨で、1,920×1,080を超える設定は避ける
- 似た要素が並ぶときは「右下の青い送信ボタン」のように位置で指示し、操作を細かく分ける

### OSWorldの公表値で見る成功率と、指標の切り替わり

画面操作エージェントの成功率は、実際のPC環境でタスクをこなせるかを測るベンチマーク「OSWorld」で比べられることが多いです。2024年の原版OSWorld（369タスク）の[公式サイト](https://osworld-v1.xlang.ai/)では、人間が72.36%を解けたのに対し、当時の最高モデルは12.24%でした。その後、原版を改訂したOSWorld-Verifiedで各社が70〜80%台を公表し、2026年後半の発表では改訂版のOSWorld 2.xへ指標が移っています。

| モデル              | 指標               | スコア   | 公表元                      |
| ---------------- | ---------------- | ----- | ------------------------ |
| Claude Opus 5.5  | OSWorld 2.1（部分点） | 81.8% | Anthropic（2026年9月22日）    |
| Claude Fable 5.1 | OSWorld 2.1（部分点） | 80.7% | 同上                       |
| Gemini 3.8 Flash | OSWorld-2.0（部分点） | 59.0% | Googleのモデルカード（2026年9月2日） |
| Gemini 3.6 Flash | OSWorld-Verified | 83.0% | Googleのモデルカード（2026年7月）   |
| GPT-5.5          | OSWorld-Verified | 78.7% | OpenAIの発表                |

Claude Opus 5.5の値は[Anthropicの発表](https://www.anthropic.com/news/claude-opus-5-5)の表、Gemini 3.8 Flashの値は[Googleのモデルカード](https://deepmind.google/models/model-cards/gemini-3-8-flash/)にあるもので、どちらもタスクの一部達成にも点を与える部分点方式です。Gemini 3.6 FlashのモデルカードではOSWorld-Verifiedが83.0%だったのに対し、後継の3.8 FlashはOSWorld-2.0で59.0%と、新しいモデルの方が低く出ています。指標が変われば数字の水準ごと変わるので、表の数字を横に並べて優劣を決めることはできません。仕組みの面から読むべきなのは、どの指標でも上位モデルが一定の割合でタスクを完了できていないという点です。購入・送信・削除のように取り消せない操作の前で人が確認する設計は、スコアが上がっても外せません。

## 画面の文字が命令になるプロンプトインジェクションと各社の防御

Computer Useでは、スクリーンショットに映ったものはすべてモデルへの入力です。Webページの本文や画像に「以前の指示を無視して〜せよ」と書かれていれば、モデルがそれをユーザーの指示より優先してしまう可能性があります。Anthropicのドキュメントも、Webページや画像に含まれる指示がユーザーの指示を上書きしうると明記しています。

防御をどこに置くかは3社で異なります。

- **Claude**：スクリーンショットなどのツールの戻り値を分類器が自動でスキャンし、インジェクションの疑いがあれば、その指示が本当にユーザーからのものかを確かめるようモデルを誘導する。既定で有効で、無効にしたい場合はサポートへの連絡が必要。
- **Gemini**：Gemini 3.5 Flash-Lite以降で、スクリーンショットに隠れた敵対的な指示を検出して実行を止める `enable_prompt_injection_detection` がある。**オプトイン**で、既定は無効（false）。
- **OpenAI**：「画面の内容は信頼できないものとして扱う。ページや文書の文字が権限を与えたり、ユーザーの指示を上書きしたりすることはできない」と、アプリ側の設計原則として示している。

どの方式でも、分類器は最後の防衛線にすぎません。3社とも、隔離した仮想マシンやブラウザで動かし、アクセスできるサイトや操作を絞ることを前提にしています。分類器があるからといって、ログイン済みの本番アカウントを操作させるのは避けるべきです。

## 手元のPCを操作するアプリでのOS権限と安全装置

APIのComputer Useは隔離した仮想環境を前提にしていますが、アプリ組み込み型は利用者の実際のPCを操作します。ここでは、ループの各段階がOSの権限とアプリの許可に置き換わります。

- **撮影**：macOSの「画面収録」権限。Claude Code・ChatGPT・Copilotのいずれも必要
- **実行**：macOSの「アクセシビリティ」権限。クリック・入力・スクロールに必要
- **範囲の制限**：アプリ単位の許可。Claude Codeはセッションごとに許可し、作業中は許可したアプリ以外を隠す。ChatGPTとCopilotは「Always allow」で次回以降の許可を保存できる

製品ごとの安全装置にも違いがあります。Claude Codeは、ブラウザと取引プラットフォームを閲覧のみ、ターミナルとIDEをクリックのみに制限し、ターミナルをスクリーンショットから外し、`Esc` キーでどこからでも止められます。ChatGPTのComputer Useは、ターミナルアプリとChatGPT自身を操作できず、管理者認証やOSの権限ダイアログの承認もできません。Windowsでは前面のデスクトップで動くため、作業中は利用者が同じ画面を使えない点も押さえておく必要があります。

## よくある質問

### Computer Useとは何ですか？読み方は？

「コンピューターユース」と読みます。AIがスクリーンショットを見て座標付きの操作指示を返し、アプリケーションがそれを実行して新しいスクリーンショットを返す、という往復で画面を操作する機能です。モデルはパソコンに直接つながっておらず、撮影と実行は利用者側のアプリケーションが担います。

### Computer Useは無料で使えますか？

APIで使う場合はトークン料金がかかり、スクリーンショットも画像入力として課金されます。Claudeではツールセットの定義だけで1リクエストあたり約4,500入力トークンが加わります。アプリ組み込み型も、Claude Code・Claude DesktopはPro・Maxプランが条件です。GitHub Copilot appは全プランで使えますが、Computer Useはパブリックプレビュー扱いです。料金の内訳は[Claude Computer Useの料金と実装手順](/tech/details/4002/)を参照してください。

### Computer UseはWindowsでも使えますか？

使えます。APIのComputer Useは操作する環境を利用者が用意するため、OSを問いません。アプリ組み込み型では、Claude Desktop・ChatGPTデスクトップアプリ・GitHub CopilotがWindowsに対応しています。Claude CodeのCLI版はmacOSのみです。

### ChatGPTでComputer Useを使うにはどうすればいいですか？

ChatGPTのデスクトップアプリでWorkまたはCodexを選び、「Plugins」から「Computer Use」プラグインを導入します。macOSでは画面収録とアクセシビリティの権限を与え、プロンプトで `@Computer` や `@アプリ名` と書いて対象を指定します。画面の判断が難しい作業にはGPT-6 Astraを選ぶよう案内されています。

### GeminiのComputer Useとは何ですか？

Gemini APIの `computer_use` ツールで、ブラウザ・モバイル（Android）・デスクトップの3環境向けに、クリックや入力などの操作を0〜999の正規化座標で返します。2026年10月26日時点の推奨モデルは `gemini-3.8-flash` で、承認が必要な操作には `safety_decision` が付きます。

## 関連記事

- [Claude Computer Useとは？ツールセット版の対応モデル・料金と実装手順【2026年】](/tech/details/4002/)
- [Claude Code computer useの設定と使い方｜/mcpでの有効化・macOS権限・アプリ別の操作範囲](/tech/details/11600/)
- [GitHub Copilot Computer Useとは？CLIでの有効化手順と組織で止める設定を解説【2026年10月】](/tech/details/18302/)
- [Browser Automationとは？ブラウザ操作を自動化する4つの方式と選び方【2026年】](/tech/details/9129/)
- [PyAutoGUIとは？インストールと使い方｜マウス・キーボード操作と0.9.54の落とし穴](/tech/details/3600/)

---

出典: [Computer Useとは？AIが画面を見て操作する仕組みとClaude・OpenAI・Geminiの違い【2026年10月】](<https://www.issoh.co.jp/tech/details/11518/>)（株式会社一創）