Google DeepMindのAGI評価フレームワークとは？10の認知能力と3段階の評価手順

Google DeepMindは2026年3月17日、AI（人工知能）がAGI（汎用人工知能）へどこまで近づいたかを測るための論文「Measuring Progress Toward AGI: A Cognitive Framework」を公開しました。人間の知能を10の認知能力に分け、同じ課題を解いた人間の成績分布と比べてAIの得手不得手を描く、という提案です。この記事では論文本文に沿って、10能力の定義、人間ベースラインの条件と評価の3段階、論文が「AGI到達」を判定していない理由、2023年の「Levels of AGI」との違い、同時に始まったKaggleハッカソンを整理します。

まとめ：DeepMindのAGI評価フレームワークの要点

• 論文は知能を10の認知能力に分けます。知覚・生成・注意・学習・記憶・推論・メタ認知・実行機能の基礎8能力と、それらを組み合わせて使う問題解決・社会的認知の複合2能力です。
• 評価は3段階です。非公開の認知タスクでAIを測り、同じタスクで人間ベースラインを取り、能力ごとに人間の分布のどこに位置するかを「認知プロファイル」として描きます。
• 人間ベースラインは人口構成を反映した成人で、後期中等教育（米国の高校卒業相当）以上の集団と定めています。2023年のLevels of AGIが基準にした「その技能を持つ成人」とは母集団が違います。
• 論文には実在モデルのスコアは1件も載っていません。プロファイルの図は架空の3システムで、「どの水準でAGIと呼ぶか」も宣言していません。
• 同時に総額20万ドルのKaggleハッカソンが開かれ、評価が手薄な学習・メタ認知・注意・実行機能・社会的認知の5能力で評価タスクが募集されました。1,063チームが参加し、受賞作は2026年7月13日に発表されています。

以下、論文の構成順に中身を見ていきます。

論文の公開日・著者と位置づけ

論文PDFの表記日は2026年3月16日、公式ブログでの公開は翌17日です。ブログの署名はリサーチサイエンティストのRyan Burnell氏とプロダクトマネージャーのOran Kelly氏の2名ですが、論文の著者は13名で、AGIという語の命名者の1人であるShane Legg氏、Levels of AGIの筆頭著者Meredith Ringel Morris氏、Allan Dafoe氏らが名を連ねます。

論文が冒頭で問題にしているのは、AGIという語が広く使われるのに進捗を測る共通の枠組みがないことです。その曖昧さが主観的な主張を生み、進捗の追跡を難しくし、責任あるガバナンスを妨げると書いています。既存のAGI向けベンチマークとしてChollet氏の2019年論文（ARCの原典）やHendrycks氏らの2025年の「A Definition of AGI」を挙げたうえで、どれも人間の認知の全域を覆っておらず、人間の成績との比較も弱いと位置づけています。なお、ブログ本文は論文名を「A Cognitive Taxonomy」と書いていますが、PDFの表題は「A Cognitive Framework」です。

10の認知能力の定義と下位能力

分類の土台は心理学・神経科学・認知科学の数十年分の研究です。論文は「システムが何をできるか」だけを問い、「どういう仕組みでやるか」は問わない立場を取ります（Marrの計算論レベルの区別）。トランスフォーマーでも別のアーキテクチャでも同じ物差しで測れる、ということです。

基礎となる8能力：知覚から実行機能まで

学習と記憶の線引きも明示されています。新しい知識を取り込めないのは学習の失敗、一度覚えたことを時間とともに失うのは記憶の失敗です。また学習の注記では、現在のシステムの多くは訓練時か文脈内でしか学ばないが、頑健な適応には継続的に学んで保持する力が要る、と書いています。人間の「短期記憶・長期記憶」という仕組みの区別はAIには当てはまらない可能性があるとして、記憶は「どれだけの量を、どれだけ長く、どれだけ正確に保てるか」で測る方針です。

複合2能力：問題解決と社会的認知

8能力は単独では働かず、重なり合って使われます。そこで論文は、複数の能力を同時に使う場面として2つの複合能力を別に立てました。問題解決は「領域固有の問題に有効な解を見つける力」で、問題の表現、関連知識の検索、下位目標への分解、行動計画、実行という流れを含みます。下位には流動性推論・数学的問題解決・アルゴリズム的問題解決・常識的問題解決・知識発見が並びます。社会的認知は「社会的な情報を処理・解釈し、社会的場面で適切に応じる力」で、表情や声色を読む社会的知覚、他者の信念や意図を推し量る心の理論、協力などの社会的スキルに分かれます。

論文の仮説は、この10能力のどれか1つでも大きく劣るシステムは、多くの人間ができる現実の仕事の一部をこなせないだろう、というものです。

分類で取り違えやすい3つの配置

付録まで読むと、名前から想像する場所と違う所に置かれている能力があります。作業記憶（ワーキングメモリ）は記憶ではなく実行機能の下位能力です。論文は、名前は記憶の一部に見えるが実際には記憶・注意・推論の協調だから、と理由を書いています。世界知識は記憶の中の意味記憶として扱われ、独立の能力ではありません。創造性は11番目の能力にはなっていません。新規性と質で定義される創造性は質の判定が主観的で切り出して測るのが難しいとし、関連する認知的柔軟性（実行機能）・意味記憶・問題解決の側で捉える、という整理です。

認知心理学の基本用語に不安があれば、認知心理学の知覚・記憶・思考のしくみを先に読むと付録の分類が追いやすくなります。

3段階の評価プロトコルの手順

評価は「認知タスクでAIを測る」「同じタスクで人間を測る」「人間の分布にAIを置く」の3段階です。

段階1：認知タスクに求める5つの条件

論文は、各能力を測るタスクに次の5条件を課しています。

• 能力ごとに的を絞る（弱点を特定できるよう、1能力を切り出すタスクを含める）
• 非公開の保留テストセットを使う（解法を学習済みなら一般知能の証拠にならないため）
• タスクと評価結果の両方を独立した第三者が監査する
• 人間にとっての難易度を散らす（人間に易しくAIに難しいタスクと、人間の限界を試すタスクの両方）
• 形式を散らす（多肢選択と自由記述、テキストとマルチモーダル、単発と多段階）

3つ目の条件は、タスクと評価結果の両方について、評価を行う主体から独立した検証を求めるものです。点数を出す側と確かめる側を分けることまで、手順の要件に含めています。

段階2：人間ベースラインの集め方

人間側は、AIと同じタスクを大人数に解いてもらって分布を作ります。条件はAIとそろえ、指示文・少数例示の有無・回答形式・外部ツールの利用可否まで同じにします。母集団は人口構成を反映した成人で、少なくとも後期中等教育（脚注で米国の高校卒業相当）を終えた人です。現実の業務で要る知識や能力の多くは成人期と学校教育で身につくから、というのが理由です。被験者の具体的な人数は論文に書かれていません。

段階3：認知プロファイルの3つの典型

能力ごとに、AIが人間サンプルの何パーセントを上回ったかを出し、10本の軸に並べたものが認知プロファイルです。能力の凸凹（論文の語では jagged）が大きいことを前提に、論文は典型を3つ挙げます。

脚注には「全能力で人間サンプルの最大値以上」というさらに強い基準も示されていますが、最大値は不確実性を見積もりにくいと注意しています。

スコアの不確実性を生む3つの要因

能力ごとの得点は、タスクの点数を単純に集計してもよく、項目反応理論（IRT）のような統計モデルを使えばより頑健になる、と論文は書きます。どちらの方法でも、推定の不確実性を必ず示すよう求めています。要因として挙がるのは、プロンプトの質やタスクの多様性によるタスクの質、狙った能力を本当に切り出せているかという構成概念妥当性、同じタスクを繰り返すと結果が大きく揺れる生成AIの確率的なふるまいの3つです。モデル間の小さな差を「能力差」と読む前に、この3つで説明できないかを疑え、という注意書きでもあります。

AGI到達の判定基準の不在と実在モデル結果の不掲載

「AGIに到達したモデルはあるのか」という問いに、この論文は答えていません。本文の図2に描かれた3つのプロファイルは、論文自身が「hypothetical（架空の）システム」と明記したもので、GeminiやGPTなど実在モデルの能力別スコアは1件も掲載されていません。「現行モデルは因果推論や物理的直観で人間を大きく下回った」のような結果を論文の成果として引用するのは誤りで、本文にその記述はありません。

到達の線引きも宣言していません。上の3パターンのうち最も強い「全能力で99パーセンタイル」でさえ、実際の人間サンプルは人間の能力の全域を捉えきれないので更なる精査が要る、と留保しています。論文の結論が掲げる目的は、AGIをめぐる議論を主観的な主張や推測から測定できる科学へ移すことで、到達時期の予測は扱っていません。AGIやシンギュラリティの到来時期をめぐる研究者調査の数字は、2045年問題とAI研究者2,778人の予測で原典に沿って整理しています。

10能力すべてについて非公開タスクと人間ベースラインがそろうことは、プロファイルを描くための前提にすぎず、それだけで「AGI到達」を判定できるわけではありません。しかも2026年3月時点では、その評価タスク自体が学習・メタ認知・注意・社会的認知で足りていないと論文が認めています。

2023年の「Levels of AGI」との違い

Levels of AGIは、Morris氏・Legg氏らが2023年11月にarXivで公開し、ICML 2024にポジション論文として採録された枠組みです。性能と汎用性の組み合わせでAIをレベル0〜5に分け、別軸で自律性をレベル0〜5に分けました。下の表は2025年9月24日改訂版（v5）によるもので、レベル4は当初の「Virtuoso」から「Exceptional」に改称されています。汎用AIの例は論文執筆時（2023年9月）の位置づけで、2026年現在のモデルを評価したものではありません。

自律性の6段階は、AIなし、道具としてのAI、相談相手としてのAI、協働者としてのAI、専門家としてのAI、エージェントとしてのAIです。性能が上がっても自律性をどこまで渡すかは別の設計判断だ、というのがこの軸の趣旨です。

2026年の論文は、Levels of AGIが示した「段階」を実際に測るための中身を足したものと読めます。違いは3点あります。1つ目は物差しの細かさで、2023年版は汎用性を「幅広い非物理的タスク」とまとめていたのに対し、2026年版は10能力と付録の下位能力まで分けました。2つ目は人間の母集団で、2023年版のパーセンタイルは「その技能を持つ成人」が基準でしたが、2026年版は人口構成を反映した高卒相当以上の成人です。同じ「50パーセンタイル」でも比べる相手が違うので、2つの枠組みの数字を直結させないほうが安全です。3つ目は手順で、非公開タスク・第三者監査・不確実性の明示という運用条件が初めて書かれました。

なお、Levels of AGIの6原則のうち4番目は「Focus on Potential, not Deployment（実運用ではなく潜在能力に着目する）」です。「潜在能力ではなく実証された能力を測る」と訳すと意味が逆になるので、引用するときは原文に当たってください。

既存ベンチマークとの関係

論文は既存ベンチマークを否定していません。問題解決ならHumanity’s Last Exam、知覚ならPerception Test、世界知識にも有用なベンチマークがすでにある、と名前を挙げています。足りないと指摘しているのは、メタ認知・注意・学習・社会的認知の領域です。さらに、質の高いベンチマークの多くが全文公開されているため学習データに混入しやすく、一般化できる信号にならないおそれがある、として、既存ベンチマークだけでは認知能力を確実に評価できないと結論づけています。

MMLUやBIG-benchのような総合点型のベンチマークは本文で名指しされていません。ただ、1つの合計点では能力の凸凹が見えないという問題意識は、10軸のプロファイルという形式そのものに表れています。公開ベンチマークが飽和していく経緯はBIG-Bench Hard（BBH）の23タスクと飽和後の使い方が具体例になります。自社でLLMを評価する手順そのものはLLM評価の指標・データセット設計・評価ツールの選び方にまとめています。

認知能力とは別の評価項目とシステム全体の評価方針

論文は、認知能力だけではAIの実力も挙動も語りきれないとして、認知能力とは別に扱う項目を挙げています。

• 処理と応答の速度：同じ不具合修正でも1分と6時間では有用性が違う。ハードウェアやネットワークにも左右されるので認知能力には含めないが、全能力で測るべき指標とする
• システムの傾向（propensities）：できるかではなく、実際にどうふるまう傾向があるか。リスクの取り方や人間の価値観との整合を含み、本論文の範囲外と明記
• 実運用でのエンドツーエンド評価：特定の業務に導入するなら、その業務フローでの評価が不可欠で、認知評価はその代わりにならない

安全性やアライメントの評価が入っていないのは見落としではなく、範囲を意図的に切った結果です。

もう1つの論点が「モデルを測るのか、システムを測るのか」です。論文は、ツールやシステム指示を含めたシステム全体を測るべきだという立場を取ります。中身が非公開で部品を切り離せないことが多く、モデル単体の点数は実際の使われ方を反映しないからです。その代わり、周囲に組むハーネス次第で「知能」が変わってしまう（電卓を渡された人を賢くなったと見なすのに近い）弱点も認めています。たとえば歴史の知識を問う課題でWeb検索を許せば、測っているのは記憶ではなく検索の腕になります。人間ベースラインでも同じツールを渡すこと、というのが論文の最低条件です。

Kaggleハッカソンの5トラックと賞金

ブログ公開と同じ3月17日、DeepMindはKaggleでハッカソン「Measuring Progress Toward AGI – Cognitive Abilities」を始めました。10能力のうち評価の空白が最も大きい5能力に絞り、参加者がKaggleのCommunity Benchmarks上で評価タスクを作り、フロンティアモデルに当てて試す形式です。

募集の対象はモデルではなく「測り方」です。大会要項は、全員が0%を取るベンチマークも全員が100%を取るベンチマークも役に立たないとして、モデル間の差を出せるかを審査します。ただし、提出されたタスクとベンチマークは締切後にすべて公開され、受賞作はCC0で提供される決まりです。論文が段階1で求めた非公開の保留テストや、独立した第三者による監査とは別物で、大会はあくまで評価タスクの案を集める場と見るのが正確です。受賞作の一覧はKaggleスタッフによる受賞作発表で確認できます。

自社AI評価での使いどころと評価セットの点検

このフレームワークを、社内でモデルを選ぶときの「AGI度ランキング」として使うのは勧めません。論文自身が、業務への導入判断にはその業務フローでのエンドツーエンド評価が要ると書いており、10能力のプロファイルは失敗の原因を説明する道具として位置づけられているからです。

実務で効くのは、評価セットの抜けを点検するチェックリストとしての使い方です。最初に見るのは、論文がカバーの空白と名指ししたメタ認知・注意・学習・社会的認知の4領域を測る課題が、自社の評価セットに1問でも含まれているかです。たとえば問い合わせ対応のエージェントなら、回答の正確さ（推論・意味記憶）に加えて、分からないときに分からないと言えるか（メタ認知）、長い会話の途中で指示を保てるか（注意・作業記憶）、相手の意図を取り違えないか（社会的認知）を確かめる問いを用意します。

逆に、この枠組みを持ち込まないほうがよい場面もあります。評価対象が翻訳だけ、分類だけのように用途が1つに決まっているなら、10軸をそろえる手間に見合いません。用途特化の評価セットを作り込むほうが判断に直結します。DeepMindとOpenAI・Anthropicの評価や安全性方針の違いはOpenAI・Google DeepMind・Anthropicの違いと関係で比較しています。

よくある質問

Google DeepMindが挙げた10の認知能力とは何ですか？

知覚・生成・注意・学習・記憶・推論・メタ認知・実行機能の基礎8能力と、問題解決・社会的認知の複合2能力です。論文の付録では、それぞれがさらに下位能力に分けられています。

このフレームワークでAGIに到達したと判定されたモデルはありますか？

ありません。論文には実在モデルの評価結果が載っておらず、プロファイルの図は架空の3システムです。全能力で人間の99パーセンタイルに達しても更なる精査が要る、と到達の宣言にも慎重です。

人間ベースラインはどんな人を基準にしますか？

人口構成を反映した成人で、少なくとも後期中等教育（米国の高校卒業相当）を終えた人の集団です。AIと同じ指示文・回答形式・ツール条件でタスクを解いてもらいます。被験者数は論文に書かれていません。

Levels of AGIとは何が違いますか？

Levels of AGI（2023年）は性能と自律性の段階を定義した枠組みで、基準は「その技能を持つ成人」のパーセンタイルでした。2026年の論文は、10能力の分類と、非公開タスク・人間ベースライン・不確実性の明示を含む評価手順を提案しています。人間の母集団が違うため、評価結果をLevels of AGIの段階へ直接対応づけることはできません。

安全性やアライメントは評価に含まれますか？

含まれません。論文は、AIがどうふるまう傾向があるか（リスクの取り方や価値観との整合）を重要と認めつつ、本論文の範囲外と明記しています。処理速度や実運用での評価も、認知能力とは別に測るべき項目として扱っています。

関連記事

• LLM評価とは？指標・データセット設計・評価ツールの選び方を実装視点で解説【2026年版】
• BIG-Bench Hard（BBH）とは？23タスクの中身とCoTの効果・飽和後の使い方
• 2045年問題とは？シンギュラリティの根拠とAI研究者2778人の予測・仕事への影響
• OpenAI・Google DeepMind・Anthropicの違いと関係｜成り立ち・モデル体系・安全性方針を比較【2026年8月版】
• 認知心理学とは？知覚・記憶・思考のしくみと身近な具体例をわかりやすく解説