GDPvalとは？GDPval-AAとの違いと最新Elo順位・採点の仕組み【2026年11月】

GDPval（ジーディーピーバル）は、OpenAIが2025年9月25日に公開したAIの評価指標です。弁護士・会計士・看護師・編集者など44職業の実際の仕事を課題にし、AIが作った成果物を同じ職業の専門家が作った成果物と並べて、どちらが良いかを専門家に判定させます。論文はICLR 2026に採択されました。

「GDPval」の名前で出回る数字は2種類あります。OpenAIが自社で測る勝ち／引き分け率（%）と、Artificial AnalysisがLLMの審査員で採点するGDPval-AAのEloです。この記事では論文とHugging Faceの220タスクをもとに仕組みと「100倍速い」の前提を整理し、GDPval-AA v2.1の採点方法と2026年11月8日時点の順位を解説します。

まとめ：GDPvalの要点と最新スコアの見方

• 何を測るか：米国GDPへの寄与が大きい9産業・44職業の実務タスクで、AIの成果物が専門家の成果物に勝つか引き分ける割合（wins or ties）を測ります。フルセットは1,320タスクで、うち220タスクがHugging Faceで公開されています。
• 公開時の結果：首位はClaude Opus 4.1の47.6%でした。OpenAIは2026年4月のGPT-5.5発表で84.9%を公表しています。
• GDPval-AAは別の物差し：同じ220タスクをモデル同士で比べ、3つのLLMの審査員の判定からEloを出します。v2.1はDeepSeek V4.1 Flash（max）を1600に固定しています。
• 最新の順位：2026年11月8日時点の首位はClaude Opus 5.5（Max）の1866です。2位Kimi K3.1 Pro（1858）、3位Muse Wonder Full（1857）との差は8〜9で、各モデルの95%区間の幅（±25〜28）より小さい差です。
• 「100倍速い」の前提：専門家による確認と、不合格のときの作り直しを含めると、GPT-5の速度向上は1.12〜1.39倍です。100倍は確認時間を含まない値です。

GDPvalの定義：44職業の成果物で専門家と比べる評価

名前は国内総生産（GDP）と評価（evaluation）を組み合わせたものです。選択式の問題とは違い、課題は「添付の顧客データからリスク指標の監査サンプルを作り、Excelで提出する」のような業務の依頼文です。AIは文書・スライド・表計算・図面などのファイルを成果物として作ります。

課題は、平均14年の実務経験を持つ専門家が自分の実際の仕事をもとに作成しました。論文によると、1,320件すべてがモデルによる自動チェックと複数回の人手レビューを経ています。レビューは1タスクあたり平均5回、最低3回です。

フルセット1,320件とゴールドサブセット220件の違い

フルセットはOpenAI社内の評価に使われ、外部には公開されていません。外部の研究者や企業が使えるのは、各職業から5件ずつ選んだ220件のゴールドサブセットです。論文の47.6%もGDPval-AAのEloも、この220件で測った値です。

対象の9産業と44職業の選び方

職業は次の3段階で絞り込まれています。

1. 2024年第2四半期の付加価値ベースで、米国GDPの5%超を占める産業を選びます（9産業）。
2. 各職業のタスクがデジタル（パソコン上で完結する）かどうかを、米労働省の職業データベースO*NETとGPT-4oで分類します。タスクの関連性・重要性・頻度で重み付けしたデジタル業務の比率が60%以上の職業を「主にデジタルな職業」とします。
3. 各産業の「主にデジタルな職業」の中から、賃金総額の大きい職業を5つ選びます。

小売業だけは4職業なので、合計は9×5−1で44職業になります。

出典はGDPvalの論文（arXiv:2510.04374）の表1です。職業は各産業の賃金総額上位から一部を抜粋しました。対面のケアが中心の職業でも、評価されるのはパソコン上で作る成果物だけです。たとえばナースプラクティショナーの課題は、患者の症例を読んで治療方針を文書にまとめる、看護学生向けの高血圧の講義スライドを作る、といった内容です。

採点の仕組み：専門家のブラインド比較と自動採点器

採点では、同じ職業の別の専門家が、AIの成果物と人間の成果物をどちらが作ったか伏せた状態で比べます。判定は「AIが良い（勝ち）」「同等（引き分け）」「人間が良い（負け）」の3つで、理由も付けます。見るのは正確さだけではありません。構成・文体・書式・見た目・依頼への適合度も判定の対象です。OpenAIが発表で使う「GDPval（wins or ties）」は、勝ちと引き分けを合わせた割合です。

伏せ方には限界があり、論文自身も認めています。OpenAIのモデルはemダッシュを多用し、Claudeは一人称で書くことが多く、Grokは自分を「Grok」と名乗る場合がありました。そのため、採点者が出力元を推測できた可能性があります。

自動採点器と人間の一致度：約66%

専門家による採点は費用がかかるため、OpenAIはゴールドサブセット向けにGPT-5ベースの自動採点器も用意しました。論文の一致度指標は、人間との比較で約66%、専門家同士で約71%です。この指標は、判定の完全一致を1、勝敗と引き分けの違いを0.5、勝敗の逆転を0として平均します。論文はこの採点器を「専門家の採点の完全な代わりではない」としています。さらに、OpenAIの高性能モデルの出力を評価するときは人間との相関が下がるとも報告しています。モデルが自分の出力を好むという既存研究の傾向と整合する、というのが論文の説明です。

公開当初は evals.openai.com で採点リクエストを受け付けていましたが、このサービスは終了しています。OpenAIのGDPvalリーダーボードのページには「OpenAIが運営するGDPvalリーダーボードはもう稼働していない」と表示され、第三者のリーダーボードとしてArtificial Analysisが案内されています（2026年11月8日に確認）。

公開時の結果：Claude Opus 4.1が47.6%で首位

論文では、GPT-4o・o4-mini・o3・GPT-5・Claude Opus 4.1・Gemini 2.5 Pro・Grok 4の7モデルを専門家が採点しました。首位はClaude Opus 4.1で、成果物の47.6%が専門家と同等以上と判定されました。Claudeは書式やスライドのレイアウトといった見た目で評価が高く、GPT-5は指示どおりに作る・計算を間違えないといった正確さで強みを見せました。ファイル形式別では、GPT-5はテキストのみの課題で、ClaudeはPDF・Excel・PowerPointの課題で優位でした。GPT-4o（2024年春）からGPT-5（2025年夏）までに、スコアは2倍以上に伸びています。

モデルごとの負け方の違い

専門家が負けと判定した理由を分類すると、Claude・Grok・Geminiは指示を守らない失敗が多く、GPT-5は書式の崩れによる負けが中心でした。GeminiとGrokでは、「作成します」と言いながら成果物を出さない、参照データを無視する、指定と違うファイル形式で出す、といった失敗が目立ちます。データの捏造や計算ミスは、どのモデルにも残りました。

推論量とプロンプトで伸びた幅

推論量（reasoning effort）を上げると、o3とGPT-5のスコアはどちらも上がりました。GPT-5に「成果物を画像としてレンダリングしてレイアウトを確認する」「特殊なUnicode文字を避ける」と指示すると、PDFの半数以上に出ていた黒い四角の文字化けがなくなりました。PowerPointの重大な書式崩れは86%から64%に減り、専門家判定の勝率は5ポイント上がりました。GDPvalの点数は、モデルの性能だけでなく、エージェントの組み方や確認手順でも変わります。

「100倍速い」の前提：確認とやり直しを含めると1.1〜1.4倍

GDPvalの紹介では「AIは専門家より約100倍速く、100倍安い」とよく書かれます。OpenAIの発表ページ自身が、この数字はモデルの推論時間とAPI料金だけを反映したもので、人間による確認・やり直し・業務への組み込みは含まないと断っています。論文の表2では、AIの出力時間を人間の作業時間と比べただけの値（Naive）がこれにあたります。ゴールドサブセットでは、専門家が1タスクにかける時間は平均404分（費用は平均361ドル）で、AIの成果物を専門家が確認する時間は平均109分でした。

「1回試す」は、AIの成果物を確認し、基準に届かなければ専門家が作り直す運用です。「n回試す」は生成と確認を繰り返す運用の極限の試算です。表の勝率は引き分けを含まない「勝ち」だけの割合で、OpenAI以外のモデルは費用を見積もれず含まれていません。

確認とやり直しを含めると、GPT-5でも速度の改善は1.12〜1.39倍です。費用の改善も1.18〜1.63倍で、人手だけの場合の約61〜85%になる試算にとどまります。勝率の低いGPT-4oでは、人間がすべて自分でやるより遅くなりました。業務にAIを入れる効果は、出力の速さではなく「確認にかかる時間」と「合格率」で見積もってください。ただし、この試算には人間の成果物を上司が確認する時間や、人間側が不合格になる可能性は入っていないと論文自身が認めています。

GDPval-AAの仕組み：Stirrupで解かせ、LLM審査員が一対比較

GDPval-AAは、Artificial AnalysisがOpenAIの220タスクを使って独自に運用している評価です。元のGDPvalとは、比べる相手も採点者も単位も違います。

実行環境：Stirrupと6つのツール・最大250ターン

Artificial Analysisの方法論ページによると、モデルはオープンソースのエージェント環境Stirrupの中で課題を解きます。タスクごとに参照ファイルを置いたE2Bのサンドボックスが新しく用意され、モデルが使えるツールは6つです。

• Web Fetch（ページ本文の取得）とWeb Search（Brave Search APIで上位5件）
• Code Exec（サンドボックスでbashを実行）とView Image（画像の読み込み。画像入力に対応するモデルだけ）
• Finish（提出するファイルを指定して終了）とAbandon Task（解けないと判断して放棄）

1タスクの上限は250ターンです。コンテキストの70%を超えると、それまでの作業を要約させてから古い履歴を消します。Finishを呼ばずに終わったタスクは失敗扱いです。StirrupはGitHubの ArtificialAnalysis/Stirrupで公開されているので、同じ環境で自社のモデル比較を回すこともできます。

審査員3モデルとEloの算出

採点では、同じタスクについて別々のモデルが作った2つの成果物を「Submission A／B」として匿名化します。2026年11月8日時点の審査員は、GPT-5.6 Sol（medium）、Gemini 3.8 Flash（high）、Claude Opus 5（high）の3モデルです。比較ごとにこの中から1つが選ばれ、どちらが課題によく応えているかを判定します。PDF・Word・PowerPoint・Excelは、テキストと画像の両方に変換して審査員に渡します。音声や動画を含むタスクの比較はGemini 3.8 Flashが担当します。

判定結果はCrowd-BTモデルに最尤推定で当てはめ、引き分けは双方に0.5勝として数えます。信頼区間はサンドイッチ推定量で求めた95%区間です。審査員はOpenAI・Google・Anthropicのモデルが1つずつです。論文は自動採点器について、モデルが自分の系統の出力を好む傾向と整合する結果を報告しています。GDPval-AAの方法論ページは、成果物の匿名化を審査員の偏りへの対策として挙げています。それでも、LLMの審査員を使う評価に共通する限界として念頭に置いてください。

GDPval-AA v2・v2.1の違い：Elo尺度の固定方法

Artificial Analysisによると、v2.1でv2から変わったのは、Eloの尺度の固定方法だけです。v2.1ではDeepSeek V4.1 Flash（max）を1600に固定し、ほかのモデルの評点はすべてこの基準からの相対値として推定します。Artificial Analysisは、Eloの値は動くものの順位の並びはおおむね保たれる、としています。

そのため、発表資料に載ったv2の値とv2.1の値は並べられません。たとえば2026年7月のGPT-5.6発表では、GDPval-AA v2でGPT-5.6 Solが1,747.8でしたが、v2.1のGPT-5.6 Sol（Max）は1618です。なお、Hugging Faceのデータセットにも2026年2月の「Release GDPval v2 (rubrics + deliverables)」という更新があります。これはOpenAIがルーブリックと模範成果物を追加した版で、GDPval-AAのv2とは別物です。

Intelligence Indexからの除外とLegacy扱い

GDPval-AAは、Artificial Analysisの総合指標Intelligence Indexにv4.0（2026年1月）で組み込まれ、v4.3.2まで構成要素でした。v5.0で外れ、2026年11月8日時点では単独の評価です。評価一覧ではGDPval-AA v2.1に「Legacy」の表示が付き、知識労働の評価として指標に入っているのは非公開データセットのAA-Briefcase v1.1です。ただし更新は続いており、2026年10月公開のモデルも追加されています。「Intelligence Indexの点数にGDPvalが含まれている」という古い解説を見かけたら、指標の版を確かめてください。

GDPval-AA v2.1の最新順位（2026年11月8日時点）

Artificial AnalysisのGDPval-AAページには、モデルと推論設定の組み合わせで300件を超える評点が並んでいます。上位10件は次のとおりです。

Google（Gemini 4 Carbon（High）の1733）は11位、SpaceXAI（Grok 4.7（Xhigh）の1718）は13位です。OpenAIの最上位はGPT-5.6 Sol（Max）の1618で34位、GPT-6.1 Sol（Max）は1609で38位でした。2位のKimi K3.1 ProはKimi K3とは？2.8兆MoEの性能・料金・API実装とK3.1 Pro移行判断【2026年10月】で、3位のMuse Wonder FullはMuse Wonderとは？API料金・呼び出し方とMuse Spark・Wonder Fullの使い分け【2026年10月】で解説しています。

上位3モデルのElo差と信頼区間の読み方

1位1866（±26）と3位1857（±25）の差は9で、それぞれの区間の幅よりずっと小さい差です。区間が重なること自体は差の検定ではないので、統計的に有意かどうかはこの表からは判断できません。ただ、9の差を根拠に「1位が最も優れている」と読むのは無理があります。一方、同じClaude Opus 5.5でもMax（1866）とHigh（1714・15位）は152離れていて、区間も重なりません。推論設定の違いは、モデルの違いより大きく効くことがあります。比べるときは、モデル名と推論設定をそろえてください。

同じv2.1でもEloは動く：10月2日との比較

基準は1600に固定されていますが、新しいモデルと比較が加わるたびに全体が当てはめ直されるので、同じモデル・同じ設定でも値は動きます。この記事の前回更新（2026年10月2日）に記録した値と比べると、次のとおりです。

3モデルとも値は上がっていますが、上に新しいモデルが入ったので順位は下がりました。Anthropicが2026年10月7日に公表したClaude Haiku 5.5の発表表でも、GDPval-AA v2.1は1620でしたが、11月8日時点のClaude Haiku 5.5（Max）は1631です。Claudeのモデルは11月8日時点で設定名に「Default Fallback」が付いており、10月2日に記録した設定と同じか確かめられないため、この表には入れていません。発表資料やまとめ記事のEloを引用するときは、版に加えて確認した日付も書いてください。

OpenAIの公表値：GPT-5.2で70.9%、GPT-5.5で84.9%

OpenAIは2025年12月のGPT-5.2発表で、GPT-5.2 Thinkingが70.9%（wins or ties）に達し、専門家と同等以上の性能に達した同社初のモデルだと発表しました。2026年4月のGPT-5.5発表では、次の値を公表しています。

これはOpenAIが自社で測った値で、他社モデルの実行条件も同社が選んでいます。GDPval-AA v2.1では、同じGPT-5.5（Xhigh）は1359で96位、Claude Opus 4.7（Max）は1362で95位です。勝ち／引き分け率が近くても、Eloの順位は同じにはなりません。

2026年7月のGPT-5.6発表では、OpenAIも勝ち／引き分け率ではなくGDPval-AA v2のEloを載せました。2026年9月29日のGPT-6.1 Solの発表では、専門的な仕事の比較にGDP.pdfとAutomationBenchを使っています。GDP.pdfは、表・図・細かな注記を含む複雑なPDFを読んで専門的な質問に答える評価です。名前は似ていますが、GDPvalとは別の評価です。

220タスクを自分で読み込む手順

ゴールドサブセットはHugging Faceの openai/gdpval で公開されており、ログインなしで取得できます。1行が1タスクで、列は課題文（prompt）・産業・職業・参照ファイル・模範成果物・ルーブリックなど12列です。次のコードは、pandasでParquetを直接読み、産業ごとの職業数と1件目のルーブリックの規模を表示します。Parquetの読み込みにはpyarrowが必要なので、先に pip install pandas==2.3.3 pyarrow==21.0.0 で入れておきます（2026年11月8日にこの版で実行）。

import json
import pandas as pd

URL = "https://huggingface.co/datasets/openai/gdpval/resolve/main/data/train-00000-of-00001.parquet"
df = pd.read_parquet(URL)

print(len(df), "tasks")
print(df["sector"].nunique(), "sectors /", df["occupation"].nunique(), "occupations")
print(df.groupby("sector")["occupation"].nunique().sort_values(ascending=False))

task = df.iloc[0]
rubric = json.loads(task["rubric_json"])
print(task["occupation"], "|", len(rubric), "rubric items | max", sum(r["score"] for r in rubric))

実行すると「220 tasks」「9 sectors / 44 occupations」と表示され、1件目（会計士・監査人の課題）はルーブリック38項目・満点63点と出ます。220件全体を集計した結果は次のとおりです。

• ルーブリックの項目数は中央値47、最小14、最大137です。「ファイル名が指定どおりか」「シート名が正確か」まで点数化されています。
• 参照ファイルが無く、課題文だけで解くタスクは95件です。残りは最大17個の添付ファイルを読む必要があります。
• 模範成果物のファイル数はPDF 85個、Excel 65個、Word 64個、PowerPoint 17個です。1タスクに複数のファイルが含まれる場合があります。

ルーブリックがあるので、成果物とルーブリックをLLMに渡して採点させる簡易評価はすぐに組めます。pytest形式で採点を回すならDeepEvalとは：pytest形式でLLM出力を採点する使い方、指標の選び方とCIへの組み込み【4.3系・2026年11月】が参考になります。ただし、OpenAIは正式な採点をあくまで専門家による一対比較としており、LLM採点は目安の位置付けです。同じ入力を複数モデルに流して品質とコストを記録する手順は、AI比較の実装手順｜同じ入力を各社モデルへ流して品質とコストを測るで解説しています。

MMLU・SWE-benchとの違い：測る対象と採点方式

選択式は安く何度でも測れますが、上位モデルが満点近くに達すると差がつきません（詳しくはMMLUとは？57科目・14,042問の中身と主要モデルのスコアの読み方）。論文はGDPvalの利点に「上限がない」ことを挙げます。比べる基準を人間からより強いモデルに置き換えれば評価を続けられる、という意味で、GDPval-AAはこの形で運用されています。評価指標の全体像はLLM評価とは？指標・データセット設計・評価ツールの選び方を実装視点で解説【2026年版】で整理しています。

GDPvalの限界：スコアで導入を決めてはいけない場面

論文が明記する限界は、そのまま導入判断の注意点になります。

• 依頼が明確で1回きり：課題文に必要な文脈がすべて書かれています。実務では「何をすべきか」を確認するやり取りに手間がかかりますが、その部分は測っていません。論文の追加実験では、文脈を減らすとスコアが下がりました。
• パソコンで完結する知的労働だけ：肉体作業、暗黙知の多い仕事、個人情報を扱う仕事、独自ソフトの操作、人とのやり取りは対象外です。
• 米国基準で日本の業務は未検証：産業はGDP統計、職業と賃金は米労働統計局のデータで選ばれています。日本の職業や日本語の業務を想定した課題セットはありません。
• 一対比較は「好まれやすさ」：GDPval-AAの審査員が選ぶのは、課題により良く応えていると判断した方です。見た目の整った誤答が、地味な正答に勝つこともありえます。数値の正しさが重要な業務では、ルーブリックの項目ごとの合否を自分で確かめる必要があります。

判断の目安を1つ挙げます。自社の業務が「依頼内容があいまいで、関係者との確認を何度も挟む」タイプなら、GDPvalの高スコアをそのまま期待値にしてはいけません。逆に「入力資料がそろっていて、成果物の書式が決まっている」業務（報告書の作成、データの集計表、定型の提案資料）は、GDPvalの課題に近い条件です。その場合でも、論文の表2の試算と同じように、効果は確認時間と合格率で見積もってください。自社の業務でどのモデルをどう組み込むかを決める段階では、生成AI導入支援で業務の切り出しから検証まで相談できます。

よくある質問

GDPvalは何の略ですか？

OpenAIは発表ページで、国内総生産（GDP）という経済指標の考え方から出発し、GDPへの寄与が大きい産業の主要な職業から課題を集めたため「GDPval」と名付けた、と説明しています。valは評価（evaluation）を表します。

GDPval-AAとは何ですか？

Artificial AnalysisがGDPvalの220タスクを使って独自に運用している評価です。Stirrupでモデルに課題を解かせ、LLMの審査員が成果物同士をブラインドで比べてEloを出します。人間の専門家とは比べていません。2026年11月8日時点の版はv2.1です。

GDPval-AAのv2とv2.1の数値は比べられますか？

比べられません。v2.1で変わったのはEloの尺度の固定方法（DeepSeek V4.1 Flash（max）＝1600）だけですが、それによって値が動きます。同じv2.1の中でも、新しいモデルが加わるたびに値が数十動くことがあるので、確認した日付も一緒に記録してください。

GDPvalのデータセットはどこで入手できますか？

Hugging Faceの openai/gdpval で、220タスクの課題文・参照ファイル・模範成果物・ルーブリックが公開されています。フルセット1,320件は非公開です。GDPval-AAで使われているエージェント環境Stirrupは、GitHubの ArtificialAnalysis/Stirrup で公開されています。

GDPvalのリーダーボードはどこで見られますか？

OpenAIが運営していたリーダーボードは終了しており、OpenAIのページは第三者のリーダーボードとしてArtificial Analysisを案内しています。現在まとまった順位を見られるのは、Artificial AnalysisのGDPval-AAページです。OpenAI形式の勝ち／引き分け率は、モデル提供元が発表資料で個別に公表する値です。

関連記事

• LLM評価とは？指標・データセット設計・評価ツールの選び方を実装視点で解説【2026年版】
• MMLUとは？57科目・14,042問の中身と主要モデルのスコアの読み方
• Arena（旧Chatbot Arena・LMArena）の使い方｜arena.aiの投票手順とリーダーボードの見方
• AI比較の実装手順｜同じ入力を各社モデルへ流して品質とコストを測る
• Claude Opus 5.5とは？料金・Fast mode・破壊的変更4点とClaude Codeでの使い方【2026年10月】