Google DeepMindが提示したAGI評価10能力の発表概要と狙い

Google DeepMindが提示したAGI評価10能力の発表概要と狙い

本章では、Google DeepMindが2026年3月17日に公開したAGI評価フレームワークの全体像と、その発表に込められた狙いを段階的に整理します。

2026年3月17日にDeepMindが公開した論文の発表経緯と主要構成要素

Google DeepMindは2026年3月17日、AGI(汎用人工知能)に向けた進捗を測定するための新たな認知評価フレームワークを公式ブログと論文の形で公開しました。論文タイトルは「Measuring Progress Toward AGI: A Cognitive Taxonomy」であり、著者として研究科学者のRyan Burnell氏とプロダクトマネージャーのOran Kelly氏が公式ブログに記載されています。発表内容の中核は、人間の一般知能を10の認知能力に分解し、それぞれを人間ベースラインと比較する「Cognitive Taxonomy(認知タクソノミー)」と呼ばれる分類体系です。

論文は「Cognitive Taxonomy」「3段階評価プロトコル」「人間ベースライン取得手法」の3要素で構成されており、単にスコアの数字を競う従来型ベンチマークから、認知科学に根ざした能力プロファイル評価へと評価軸が転換した点が大きな特徴となります。同時に20万ドル規模のKaggleコンペティションを立ち上げ、外部研究者にも参加機会を開放しました。発表直後から研究者コミュニティで議論が活発化し、AGI議論に共通言語をもたらす試みとして注目を集めている状況です。

従来のAGI議論で欠落していた客観的測定基準という根本課題の指摘

DeepMindの研究チームは論文冒頭で、現状のAGI議論には客観的に進捗を測る共通の枠組みが存在しないと明確に指摘しています。GPT-4が司法試験を突破し、Geminiが10万トークンの論文を読み、Claudeがプログラマーよりも速くコードを書く時代になっても、どのモデルがAGIに近いかを客観評価する方法は欠落していました。

この曖昧さは、主観的な「AGI達成宣言」を生みやすく、進捗の追跡を困難にし、責任あるガバナンスを妨げるという3つの問題を抱えていると論文は分析します。研究チームはこの空白を埋めるため、認知科学で長年蓄積されてきた人間の知能分類学を出発点に据えました。これにより、特定のテスト問題を解けるかどうかではなく、人間の知性を構成する全領域の能力をどの程度持っているかという、より本質的な問いを評価軸として設定し直した形になります。この発想転換は、AGIをめぐる議論を信念対立から観測可能な距離の議論へと移行させる出発点となる構造です。

認知科学を理論基盤に据えた設計思想と過去6原則からの発展的接続

新フレームワークの特徴は、認知科学における人間の知能分類体系を理論基盤としている点にあります。具体的には、知覚・注意・記憶・学習といった基本能力から、実行機能・推論・社会的認知・メタ認知といった高次能力まで、人間の知性を構成する要素を体系的に取り込んでいます。

2023年に同じチームが発表した「Levels of AGI」論文では、AGIに求められる6原則として以下が示されていました。今回のフレームワークはこれを実測可能な形に発展させたものといえます。

• 能力に着目し、内部メカニズムは問わないこと
• 汎用性と性能を分けて評価すること
• AGIに至る段階を明示的に定義すること
• 認知能力とメタ認知能力を含むこと
• 潜在能力ではなく実証された能力を測ること
• 生態学的妥当性のあるタスクを採用すること

2023年版が「物差しの目盛り」を提示していたのに対し、今回の発表は「実際に目盛りを当てる方法」を初めて具体化した位置づけとなります。

Shane Legg氏ら主要研究者と過去Levels of AGI研究との連続性

公式ブログには論文の著者としてRyan Burnell氏とOran Kelly氏が記載されている一方、DeepMindの研究チームには共同創業者でありチーフAGIサイエンティストを務めるShane Legg氏や、2023年版「Levels of AGI」論文を主導したMeredith Ringel Morris氏らAGI研究の中核人物が在籍しています。同チームは長年AGIの定義と評価指標の研究に取り組んできた経緯があり、過去の研究蓄積との連続性が確保されている点はフレームワークの信頼性を支える背景です。

特にShane Legg氏は、AGI到達の中央値予測を「2028年」と公言してきた経緯があり、今回のフレームワーク発表は同氏が示してきた時間軸を客観的に検証するための土台づくりという側面も持ちます。Demis Hassabis CEOも別途AGI到達時期を「5年から10年」と発言しており、こうした経営陣の見解と研究現場の測定枠組みが連動している構図が読み取れる発表内容になっています。経営層の時間軸予測と研究チームの測定基盤が同期している点は、組織として一貫した戦略のもとでAGI研究が進められている証左といえる構造です。

20万ドルKaggleコンペ同時開催と業界からの初期反応の温度差

発表と同時にDeepMindは、新世代ベンチマークの設計を競う20万ドル規模のKaggleコンペティションを開始しました。公式ブログによれば、コンペは10能力全てではなく、評価ギャップが最も大きい5分野(学習・メタ認知・注意・実行機能・社会的認知)を対象とする5トラック構成で運営されています。応募期間は2026年3月17日から4月16日まで、結果発表は同年6月1日と明示されており、Kaggleの「Community Benchmarks」プラットフォーム上でフロンティアモデル群に対する評価が実施される設計です。

賞金体系は、各トラック上位2件に1万ドル、最優秀総合4件に2万5千ドルの構成で、外部研究者を巻き込んで評価エコシステムを構築する戦略がうかがえます。初期反応については、Google系列やLinkedInコミュニティから肯定的な評価が寄せられた一方で、OpenAIやAnthropic所属の著名研究者からの公式論評は発表後しばらく出ていない状態が続きました。賞金規模と認知科学的根拠を併せ持つこの発表が、今後どこまで業界標準として浸透するかが注目されています。

AGI判定に用いる10の認知能力一覧と各カテゴリーが意味する範囲

本章では、DeepMindが提示した10の認知能力を2能力ずつのペアに整理し、それぞれが評価対象とする範囲と、AGI判定における意味合いを順に解説していきます。

知覚と注意の2能力が担う環境情報処理の具体的範囲と評価における観点

知覚(Perception)は、環境から感覚情報を抽出・処理する能力を指します。視覚知覚では低レベルのエッジ検出から高レベルのシーン理解まで、聴覚知覚ではピッチの識別から音声理解までを評価対象とします。論文では、LLMがトークン化を通じてテキストを直接処理する点を、人間にはない「テキスト知覚」という独自モダリティとして位置づけている点が興味深い指摘です。

一方の注意(Attention)は、無関係な刺激を抑制しつつ目的に沿った情報に資源を集中させる能力を測定します。長文コンテキスト処理で「中盤の情報を忘れる」現象は注意能力の弱点として現れる典型例といえるでしょう。両能力はAGI評価の入口に位置し、ここでつまずくと後続の高次認知タスクが成立しなくなるため、評価設計上は最初に基準を満たすべき土台と扱われています。実務応用でも、長文要約タスクで中盤の重要情報を取りこぼす失敗は、注意能力の弱さに起因する典型例として頻繁に観測される現象です。

記憶と学習の2能力に求められる人間水準の機能要件と判断の基準

記憶(Memory)は、情報の保持と検索を担う能力であり、短期記憶・長期記憶・作業記憶という人間の記憶研究の枠組みに対応した評価が想定されています。LLMにおいてはコンテキストウィンドウ内の情報保持と、訓練時に獲得したパラメトリック記憶の両面が評価対象となるため、人間との単純比較には注意が必要です。

学習(Learning)は、新たな知識やスキルを獲得する能力を測ります。判断の基準としては、少数事例から汎化できるか(Few-shot学習)、未知環境で適応できるか(オンライン学習)、誤りから自己修正できるかといった観点が用いられます。Gary Marcus氏らが繰り返し指摘してきた「現行LLMは少数事例での学習が人間に大きく劣る」という論点は、まさにこの学習能力次元で可視化される予定です。両能力の人間ベースラインを下回るモデルは、たとえ単一テストで高得点でもAGI水準とは判定されない設計となっています。

実行機能と推論の2能力が担う高次思考領域の評価項目と典型的な難所

実行機能(Executive Functions)は、目標設定・計画立案・タスク切替・抑制制御など、複数の認知資源を統合して行動を制御する能力を指します。マルチステップのタスクをやり遂げる力、注意散漫な状況で計画を維持する力、状況変化に応じて方針を切り替える力などが評価対象です。LLMは単発の質問応答に強い一方、長時間の自律タスクで計画を維持できない弱点が典型的な難所として知られています。

推論(Reasoning)は論理的思考能力を測る次元で、抽象推論・因果推論・帰納推論・演繹推論など多様な下位カテゴリーを含みます。特に抽象推論はARC-AGIベンチマークが測定する領域と重なり、フロンティアモデルが軒並み低スコアに沈む厳しい領域です。因果推論についても、相関関係のパターン認識ではなく原因と結果の関係を見抜く力が問われるため、現行モデルは人間ベースラインの30%程度しか到達できないと報告されています。

問題解決と社会的認知の2能力で測る応用領域の評価基準と失敗例

問題解決(Problem Solving)は、ドメイン固有の課題に対して有効な解決策を見つけ出す能力です。公式論文では、計画立案・戦略策定・障害回避・新規アプローチの発見など、複雑な目的達成に必要な総合的な能力として位置づけられています。LLMは標準的な問題への対応では高い性能を示す一方、未知のドメインや制約条件が変化する状況で適切な解を構築する力に弱点を抱える傾向が報告されています。

社会的認知(Social Cognition)は、社会的情報を処理・解釈し、社会的状況で適切に応答する能力です。他者の意図・信念・感情を推察するいわゆる「心の理論」を含み、会話相手の発話意図を読み取る、皮肉や婉曲表現を理解する、複数人の対話における立場の違いを把握するといったタスクで評価されます。LLMは表層的なパターン認識が強い一方、語用論的(pragmatic)タスクで失敗する事例が多く報告されており、字義通りの理解はできても話者の真意を取り違える失敗例が典型です。両能力は対人サービスや意思決定支援の応用で必須となり、ここを満たさないモデルは実務応用で深刻な失敗を引き起こす可能性が高い領域です。

メタ認知と生成の2能力が決めるAGI到達の決定的な差分と論点

メタ認知(Metacognition)は、自分自身の認知プロセスを観察・評価・調整する能力です。「自分が何を知らないかを知る」「自分の推論の信頼度を見積もる」「タスクの難しさを正しく判断する」といった自己認識能力が含まれます。AGI到達の決定的な差分とされる理由は、メタ認知が欠如しているとモデルは自信を持って誤答する(ハルシネーション)を制御できないためです。

生成(Generation)は、テキスト・音声・行動などの出力を生み出す能力で、ロボット制御やコンピュータ操作も含みます。特に注目されるのは思考生成、すなわち意思決定を導くための内的思考の生成能力です。論文はこれをOpenAIのo1スタイルの推論能力と関連づけており、思考の内的性質ゆえに外形的タスクから抽出して評価する難しさにも言及しています。公式ブログに掲載されている10能力の全体像は以下の通りです。

この10次元の全てで人間水準のスコアを達成することが、DeepMindが想定するAGI到達の基本条件となります。能力プロファイルが10次元のいずれかで人間分布から大きく外れていれば、その時点でAGIとは見なされない厳格な評価軸です。

3段階評価プロトコルの仕組みと人間ベースライン収集の具体手順

本章では、DeepMindが提案する3段階の評価プロトコルを順を追って解説し、人間ベースラインの収集方法やAGI判定の閾値設定まで具体的に整理していきます。

ステップ1の認知評価で課される10能力カバー型タスク設計の要件

3段階評価プロトコルの第一段階は「認知評価」と呼ばれ、AIに10の認知能力を網羅するタスクを実施させる工程です。タスク設計には複数の要件が課されており、単に既存ベンチマークを寄せ集めるのではなく、認知科学的根拠に基づいた構成が求められます。具体的には、人間には容易だがAIには困難な課題と、人間の限界に挑む課題の双方を含む難易度勾配の確保が条件です。

形式面でも多肢選択・自由記述・マルチモーダル・複数ステップなど多様な出題形式が要求されており、特定形式に最適化したモデルが有利になることを防ぐ設計思想がうかがえます。各能力次元で最低限のタスク数とカバレッジが定義されており、評価結果の頑健性を担保する仕組みが組み込まれています。論文では、訓練データ汚染を避けるため新規生成タスクの比率を高めることも推奨されており、評価の独立性確保が重視されている点が特徴です。固定タスクと新規タスクの組み合わせ比率や、評価実施の独立性を担保する第三者機関の関与なども、運用段階で重要な論点として整理される見通しです。

ステップ2の人間ベースライン取得で求められる被験者構成と人数規模

第二段階では、AIと同一条件のもとで多数の人間にも同じタスクを実施してもらい、人間ベースラインを収集する工程に入ります。被験者の構成については、高校卒業以上の学歴を持つ人口統計学的に代表性のある成人サンプルが推奨されており、地域・年齢・性別・職業のバランスが取られた集団から取得することが想定されている設計です。

人数規模は能力次元ごとに統計的に有意な分布が得られる水準が求められ、中央値や99パーセンタイルといった分位点が安定して測定できる規模を確保する必要があります。重要なのは、人間が能力ごとに大きなばらつきを持つ点を前提とし、単一の「人間平均値」ではなく分布全体をベースラインとして扱う発想です。これにより、AIが「平均的人間」と一致しているのか「専門家層」に達しているのかを段階的に区別できる仕組みが成立しています。実施面では、オンライン実験プラットフォームを活用した大規模被験者募集や、デモグラフィック構成の事前設計、被験者疲労による回答品質低下を防ぐタスク配分といった、実験心理学の知見が運用に組み込まれる構造です。

ステップ3の比較分析で出力される認知プロファイル図の構造と読み方

第三段階では、収集したAIスコアと人間ベースラインを比較し、能力次元ごとの達成度を可視化する「認知プロファイル」を作成します。プロファイルは10次元のレーダーチャート的な構造で表現され、各次元で人間ベースラインを基準値1.0として、AIモデルの相対スコアがプロットされる形式です。

読み方の基本は、特定の次元で高得点でも他次元で著しく低ければAGIとは見なせないという「全体としての均衡」の確認にあります。例えば言語能力で1.5を記録しても、抽象推論で0.0、因果推論で0.3であれば、そのモデルは「言語に特化した狭いAI」と判定される結果に終わる構造です。プロファイル図はモデル選定やリスク評価の判断材料としても活用が想定されており、用途に応じて必要な能力次元の水準を確認する実務的ツールとして設計されている点が大きな特徴になります。経営層への報告資料や規制当局への提出資料でも、レーダーチャート形式は能力の偏りを直感的に示せるため、説明力の高い表現手段として広く活用される見込みです。

人間分布へのマッピングで段階的に解釈されるAGI到達水準の指標

新フレームワークの評価プロトコル第3段階では、AIの能力スコアを人間分布のどの位置にあたるかとして表現する設計です。公式論文によれば、各能力次元についてAIの性能を「人間の遂行能力の分布に対する相対位置」としてマッピングする方式が採用されており、認知プロファイル全体が人間分布上のどこに収まるかが評価結果として可視化されます。

分布上の自然な参照点としては、人間の中央値(50パーセンタイル)、99パーセンタイル、最高水準といった指標が考えられ、これらを基準にAGI到達度を段階的に解釈する見方が二次情報でも紹介されている状況です。例えば、全10能力で人間中央値を上回るシステムは少なくとも半数の人間に匹敵するという解釈、99パーセンタイルに達するシステムはほぼあらゆる人間に匹敵するという解釈が成り立ちます。この設計の利点は、単一スコアの「AGI達成宣言」を防ぎ、能力ごとの偏りを明示的に評価対象に含めている点です。逆に言えば、特定の能力次元で人間分布の下位にとどまるモデルは、他の次元でいかに優秀でもAGI水準とは判定されない厳格な評価軸といえる構造になっています。

プロトコルが認める3つの不確実性要因と評価結果のばらつき対策

論文は、評価プロトコルが内包する3つの主要な不確実性要因を明示的に認めています。第一はタスク自体の品質、第二は構成概念妥当性(本当に意図した能力を測定できているか)、第三は生成AI固有の出力ランダム性です。同じ質問を2度尋ねても全く異なる答えが返る可能性がある現実は、評価の再現性に直接影響します。

これらの不確実性に対する対策として、論文では以下のアプローチが示されています。

• 同一タスクの複数回試行による分散の測定と平均化処理
• 独立した複数チームによるタスク設計と相互検証
• 構成概念妥当性を確認するための予備的人間検証の実施
• 評価結果に信頼区間を付与し、点推定値の過信を防ぐ運用
• 定期的なベンチマーク更新による訓練データ汚染の継続的低減

こうした不確実性の明示的開示は、過度な楽観論や悲観論を排除し、評価結果を冷静に解釈する文化を促す意図があると読み取れる構成です。点推定値ではなく信頼区間を伴った評価結果が標準化されれば、報道や投資判断における誤読リスクも大きく低減される見込みになります。

MMLUやBIG-bench等既存ベンチマークとの根本的な評価設計の違い

本章では、新フレームワークが既存のAIベンチマークと何が異なるのかを、設計思想・耐性・評価軸・実務影響の4観点から整理します。

単一スコア型ベンチマークが抱える能力の偏り隠蔽という構造問題

MMLUやHELMなど従来の主要ベンチマークは、複数タスクの正答率を集約した単一スコアでモデルを評価する設計が一般的でした。この方式の根本的な問題は、能力の偏りを構造的に隠蔽してしまう点にあります。例えば、あるモデルがMMLUで90%を記録していても、その内訳が「言語理解で100%・物理直観で60%・社会的推論で30%」だった場合、平均的には印象的でも実用シーンで深刻なギャップを抱える可能性が高い状態です。

論文は「単一指標は能力の不均一性を完全に隠す」と明確に批判しており、AGIに向けて測定すべきは「全領域で水準以上を満たすこと」だと主張しています。能力ごとの最低値がボトルネックとなる設計に評価軸を移すことで、見せかけの高スコアによる過大評価を防ぐ仕組みが導入されました。これは実務的にも重要な転換であり、モデル選定の根拠が「総合点」から「弱点の有無」へと変化することを意味します。特定業務での致命的失敗を回避する観点では、ボトルネック能力の検出こそが選定の核となる発想です。

タスク詰め込み型と認知科学基盤型における設計思想の決定的な違い

既存ベンチマークと新フレームワークの設計思想を比較すると、出発点の発想が根本的に異なることが分かります。両者の差異は以下の通りです。

従来型は「集めたタスクをどれだけ解けたか」を測る一方、新方式は「人間知能を構成する各能力を満たしているか」を測ります。設計思想の差は実務にも波及し、モデル選定の意思決定プロセス自体を組み替える契機となる構造です。従来は「ランキング上位のモデルを採用」という単純判断で済んだ場面でも、新方式では「業務に必要な能力次元を満たすモデルを採用」という、より精緻な判断プロセスへの移行が求められる転換となります。

学習データ汚染によるスコア膨張問題と新フレームワークの耐性比較

大規模言語モデルの訓練データには、インターネット上のあらゆるテキストが含まれており、結果としてベンチマークのテスト問題そのものが訓練データに混入する「汚染」が深刻な問題となってきました。汚染が起きると、モデルは新たな能力で問題を解いているのではなく、訓練時に見た答えを思い出しているだけになり、報告スコアが大きく膨らみます。

新フレームワークが汚染耐性を持つ理由は2点あります。第一に、評価が固定的なテスト問題集ではなく認知能力カテゴリーに紐づいているため、タスクを動的に生成・更新しやすい構造です。第二に、人間ベースラインとの比較を中心に据えるため、モデルが訓練時に見た問題を解けるだけでは「人間と同等の認知プロセス」を示したことにならず、見せかけの高得点が無意味化されます。Kaggleコンペで新規タスク設計を継続的に募集する仕組みも、汚染を防ぐ運用上の工夫として機能する設計となっています。固定問題集から動的タスク生成へという運用転換は、ベンチマーク信頼性の維持に欠かせない要素です。

モデル間比較から人間比較へ評価軸が移ることで生まれる新しい意味

従来のAIベンチマークは「モデルAとモデルB、どちらが優れているか」というモデル間比較を主眼としていました。これに対し新フレームワークは、人間ベースラインを絶対基準として「AIが人間に対してどの位置にあるか」を測る評価軸へと転換しています。この変化は単なる数値表現の違い以上の意味を持ちます。

モデル間比較では、全モデルが特定能力で低スコアであっても相対的に「最高水準」と表現できてしまい、AGI到達度の議論が曖昧になる課題がありました。人間基準に切り替えることで、例えば「因果推論で最高水準のモデルでも人間ベースラインの0.3に過ぎない」という現実が直視されます。AGI議論で繰り返されてきた「もうすぐ達成だ」「まだ遠い」という主観的応酬が、観測可能な距離の議論に置き換わる点が、評価軸変更の最大の意義といえる転換です。各能力次元での「人間ベースラインまでの残り距離」が定量的に表示されることで、技術ロードマップの議論にも具体的なマイルストーン設計が可能になる効果が期待される変化です。

リーダーボード型評価が見落としていた3つの実務的な盲点の整理

従来のリーダーボード型評価は、研究コミュニティでの進捗共有には有効でしたが、実務でモデルを選定・運用する立場からは重要な盲点を抱えていました。新フレームワークが浮かび上がらせる主要な盲点は以下の3点に整理できます。

• 能力プロファイルの偏りが隠れ、特定用途で致命的弱点を持つモデルでも上位ランクに表示される問題
• 訓練データ汚染による報告スコアの過大評価が補正されないまま流通する問題
• 人間と比較した到達度が示されないため、AGI判断や規制議論の客観的根拠が欠落する問題

これらの盲点は、企業がLLMを業務導入する際の判断基準にも影響します。例えばカスタマーサポート用途では社会的認知の水準が決定的に重要ですが、リーダーボード上位というだけで選んでしまうと、肝心の対人理解で失敗する事故につながりかねません。新フレームワークは、用途に応じて重視すべき能力次元を可視化することで、こうした実務上のリスクを低減する役割も果たします。

2023年版Levels of AGIフレームワークとの関係性と今回の補完点

本章では、2023年に同じDeepMindチームが発表した「Levels of AGI」と今回のフレームワークとの関係を整理し、両者がどのように接続し、何が補完されたのかを段階的に解説します。

2023年版が定義した6段階性能と6段階自律性水準の枠組みの要点

2023年版「Levels of AGI」論文は、AGIに至る道筋を6段階の性能水準と6段階の自律性水準で整理した枠組みでした。性能水準はNo AI(Level 0)・Emerging(萌芽)・Competent(有能)・Expert(熟練)・Virtuoso(達人)・Superhuman(超人)の6段階で構成され、それぞれを「Narrow(狭い)」と「General(汎用)」の2軸で評価する設計です。

自律性水準もNo AI・AI as a Tool・AI as a Consultant・AI as a Collaborator・AI as an Expert・AI as an Agentの6段階で、AIシステムが人間からどの程度独立して動作するかを示します。この枠組みは自動運転車の6段階分類(L0からL5)に着想を得ており、AI業界に共通言語を提供する目的を持っていました。実際、この段階分類は研究論文や規制議論で引用されるようになり、AGI議論の解像度を一段引き上げた重要な貢献として認識されています。今回のフレームワーク発表は、この基盤の上に立つ次の一歩という位置づけです。

Levels of AGIに残されていた測定不能というギャップの存在

2023年版フレームワークは概念的には大きな進歩でしたが、決定的なギャップを抱えていました。各段階の定義は示されたものの、「各段階を実際にどう測定するか」という方法論が確立されていなかったのです。例えば、あるモデルがCompetentに到達したのかExpertに到達したのかを判定する具体的な手続きは、論文内では十分に展開されていませんでした。

このため、企業や研究者が自社モデルを5段階のどこに位置づけるかは、依然として主観的判断に委ねられたままです。結果として「我々のモデルはほぼExpert水準」「Virtuoso到達は時間の問題」といった主張が乱立し、共通言語であるはずのフレームワークが客観的議論の道具として十分機能しない場面が増えていきました。今回のCognitive Taxonomyと3段階評価プロトコルは、このギャップを埋めるための実装層として設計されています。地図と計器の関係に例えると、2023年版が地図を提供し、今回の発表が計器を追加した形であり、両者を併用してこそ意味を持つ構造になっている点が特徴です。

自動運転L0〜L5に倣った段階表記と今回追加された測定軸の補完関係

2023年版は自動運転車の段階分類になぞらえて段階表記を導入しましたが、自動運転の場合は「車線維持できるか」「合流処理できるか」といった具体的なテスト条件が存在するのに対し、AGIには対応する具体的な行動基準が欠けていました。今回のフレームワークは、認知能力10次元という横軸と、人間分布上の達成位置という縦軸を組み合わせ、自動運転の段階分類に匹敵する具体性をAGI評価に持ち込んでいます。

補完関係を整理すると、2023年版が「現在地と目的地の地図」を提供したのに対し、今回の発表は「現在地を測定するための計器」を提供したと表現できます。両者は競合関係ではなく、地図と計器のように組み合わせて使う前提で設計されている構造です。研究者・規制当局・投資家それぞれが、どの段階の議論をしているのかを共通言語で扱える環境が、ようやく整いつつある状況といえます。自動運転L0〜L5が業界標準として定着するまでに数年を要したように、AGI評価枠組みの普及にも一定の時間が必要と見られています。

Level 0〜Level 5の6段階定義と10能力プロファイルとの対応マッピング

2023年版の性能水準と、今回の10能力評価との対応関係は、概念的に以下のように整理できます。

対応マッピングを意識すると、今回のフレームワークが2023年版を否定するものではなく、その段階判定を実測可能にする補完層であることがより明確になります。Level 2に該当する「全10能力で人間中央値以上」がいわゆるAGI第一段階に相当する目安です。

能力評価と自律性評価を切り離す思想と今回のCognitive Taxonomyの位置

2023年版の重要な思想として、能力(Levels of AGI)と自律性(Levels of Autonomy)を切り離して評価するという原則がありました。能力が高いシステムでも、用途に応じて低い自律性で運用することが望ましいケースがあり、両者を独立変数として扱う必要があるという考え方です。今回のCognitive Taxonomyは、この思想のうち「能力」側を実測可能にする位置づけにあります。

つまり、Cognitive Taxonomyは「AIが何ができるか」を測る一方、自律性評価は「AIにどこまで意思決定を委ねるか」という別軸を扱う設計です。この切り分けは、規制設計やガバナンス議論で特に重要となります。能力次元で高得点でも、自律性を低く抑える運用設計を取れば、潜在的なリスクを管理しながら有用性を享受できるためです。今回の発表は能力測定の精度向上に集中しており、自律性評価や安全性評価は別途のフレームワーク整備が今後の課題として残されている状況です。

現行フロンティアモデルの実測結果と抽象推論等で見える顕著な弱点

本章では、新フレームワークを現行のフロンティアモデルに適用した際に浮かび上がった実測結果を、能力次元ごとに具体的なスコアと共に整理していきます。

抽象推論における従来モデルの低スコアと人間との顕著な能力ギャップ

抽象推論能力の評価で注目されるのが、ARC-AGIシリーズなど少数例示から抽象ルールを発見し新規インスタンスに適用する能力を測るベンチマーク群です。二次情報の解説によれば、フロンティアモデルはARC-AGIの新世代ベンチマークで人間の解答水準と比べて極めて低いスコアにとどまる傾向が報告されており、この大きな差は新フレームワークの設計思想を裏付ける典型的なデータとして紹介されています。

抽象推論は、新しい状況に遭遇したときに過去経験から抽象構造を抽出し、未知問題に応用する能力です。LLMが大量データから統計的パターンを学習する手法と本質的に相性が悪い領域とされており、モデル規模を拡大しても容易には改善しないという報告が相次いでいます。この結果は「現行AIはAGIに近づいている」という言説に対する慎重な見方を支える材料として読むことができ、AGI到達までに残された技術的距離の大きさを示すデータといえる内容です。

因果推論で観測される人間ベースラインとの顕著な開きという厳しい現実

因果推論能力の評価結果も厳しい現実を示しています。二次情報の解説では、リーダーボード上位のフロンティアモデルでも、人間ベースラインを1.0とした場合の因果推論スコアが大きく下回るとの紹介があり、これは相関関係のパターン認識と原因・結果関係の理解が根本的に異なるタスクであることを反映した結果といえます。

因果推論が要求するのは、「Aの後にBが起きたという観察」から「AがBを引き起こした」と判断するための介入実験的思考や、交絡変数の識別、反事実的推論といった能力です。LLMは表層的なテキストパターンから「Aと聞かれたらBと答える」傾向を学習するため、因果構造を明示的に扱う訓練を経ていないと、この種の判断で人間に大きく劣る結果となります。実務応用では、医療診断・政策評価・経営判断など因果推論が必須となる領域で、現行モデルの導入リスクが明確化される結果となりました。表面的な回答精度が高くても、原因と結果を取り違える失敗は重大事故につながる可能性があり、用途選定における慎重さが改めて求められる現状です。

言語タスクで人間を上回りつつ物理的直観で躓くという能力の偏り

新フレームワークが浮かび上がらせた最も興味深い発見の一つが、現行モデルの能力プロファイルが極端に偏っているという事実です。言語理解や文章生成、知識検索といった言語関連タスクでは、フロンティアモデルが人間中央値を上回るスコアを記録する一方、物理的直観・空間推論・実世界の常識といった領域では人間下位層にも届かない結果が見られます。

「コップを傾けたら中の水はどうなるか」「箱の中身を見ずに重さから推定する」といった人間にとって自明な物理直観タスクで、モデルは表面的にもっともらしいが内容的に誤った応答を返す事例が多発しています。この偏りは、訓練データの多くがテキスト中心であり、物理世界との相互作用経験を持たないLLMの構造的限界を反映した現象です。AGIに向けては、マルチモーダル学習や具現化(エンボディメント)を組み込んだ次世代アーキテクチャの必要性が示唆される結果といえます。テキストのみで学習した知能と、世界と相互作用しながら学習した知能との間には、現時点で大きな質的隔たりが存在する事実が浮き彫りとなりました。

メタ認知と自己評価能力におけるLLM共通の弱点パターンの実例

メタ認知次元の評価結果は、現行LLMが抱える共通の弱点を明確に映し出しました。具体的には、自分の回答の信頼度を正確に見積もる能力、自分が知らないことを「知らない」と認識する能力、タスクの難しさを事前に判定する能力の全てで、人間ベースラインを下回るスコアが記録されています。

典型的な失敗パターンは、確信を持って誤答する「自信ある誤り」と、簡単な問題を過度に難しく扱う「自信なき正答」の二極化です。前者はハルシネーションの根本原因と重なり、後者は不必要な計算リソース消費や応答遅延を招きます。論文では、メタ認知能力の欠如がAGI到達の決定的な障壁であると位置づけられており、単に各能力次元のスコアを底上げするだけでなく、自己評価層を組み込んだアーキテクチャ改革が必要であると示唆されました。この観点は、安全性とアライメント研究にも直接つながる重要な指摘です。自分の出力に対する信頼度を正しく見積もれないモデルは、誤った情報を確信を持って提供する危険性を常に抱えるため、実務応用での信頼性確保には根本的な技術改善が不可欠となります。

単一指標で隠れていた致命的ギャップが可視化された主要モデル別の傾向

新フレームワークの最大の貢献は、単一指標で見過ごされていた致命的ギャップが、主要モデルごとに可視化されるようになった点にあります。リーダーボードで僅差を争うトップモデル群でも、認知プロファイルを描くと能力の偏り方が大きく異なり、それぞれ得意領域と弱点領域が異なる構造が明らかになりました。

傾向として、推論強化型モデル(o1スタイル)はメタ認知や思考生成で相対的に高スコアを示す一方、巨大コンテキスト型モデルは長期記憶活用で優位性を持ち、マルチモーダル特化型は知覚次元で他を引き離すといった具合に、各社の設計思想が能力プロファイルとして反映される結果となっています。この差異は、用途に応じた最適モデルの選定根拠となり、リーダーボード総合点だけでは見えなかった「どの能力が必要な業務に、どのモデルが適合するか」という実務判断の解像度を大きく高める成果といえる内容です。能力プロファイルの可視化は、AI調達における意思決定プロセス全体を変革する可能性を秘めた発展となります。

フレームワークが抱える限界と研究者から指摘されている主な批判点の整理

本章では、新フレームワークが万能ではないという前提に立ち、現時点で指摘されている主要な限界と批判点を分野ごとに整理していきます。

ベンチマーク・ゲーミング対策が欠落している設計上の重大な脆弱性

新フレームワークに対して最も鋭く指摘されているのは、ベンチマーク・ゲーミング対策が初版時点で十分に組み込まれていないという脆弱性です。ベンチマーク・ゲーミングとは、モデル開発者が評価指標で高得点を取ることを目的として、本質的な能力向上ではなく評価特化型の最適化を行う行為を指します。

新フレームワークは認知科学的根拠に基づくため従来型より汚染耐性は高いものの、能力次元ごとのタスク設計が固定化されれば、結局はそれに最適化したモデル設計が出現するリスクが残ります。10次元のスコアを単純合算してランキングを作る運用が広がれば、再び「総合点ゲーミング」が起きる可能性も否定できません。論文自体がこの脆弱性を認めており、Kaggleコンペでの動的タスク更新や、評価運営の独立性確保といった追加的対策が今後の重要な課題となっています。ベンチマーク・ゲーミングを完全に防ぐ仕組み設計は、業界全体での継続的な努力が求められる長期的な取り組みであり、単一の対策で解決する性質ではない問題として認識される状況です。

AI安全性とアライメント評価が初版時点で含まれていない範囲限定

新フレームワークが明示的に範囲外としている重要領域が、AIの安全性とアライメント評価です。10の認知能力はあくまで「AIに何ができるか」を測る能力評価であり、「AIが人間の価値観と整合しているか」「危険な能力を悪用しないか」といった安全性の議論は含まれていません。

この範囲限定は意図的な設計判断ですが、AGI水準に達したシステムが社会に与える影響を考えれば、能力評価と並行して安全性評価のフレームワーク整備が不可欠です。実際、DeepMindは別途145頁に及ぶ安全性論文を公開しており、AGI到達による「深刻な危害」のリスクを論じています。Future of Life InstituteのAnthony Aguirre氏は、能力評価だけでは不十分であり、より包括的な安全評価枠組みが必要だと指摘しています。今後、能力プロファイルと安全プロファイルを統合的に扱う方法論の確立が、業界全体の宿題として残されている形です。

ガバナンス体制不在に起因するベンチマーク陳腐化の懸念とその根拠

長期運用を考えたときに浮上する課題が、ベンチマークを更新・維持するガバナンス体制の不在です。AI技術は急速に進化しており、現時点で挑戦的なタスクが数カ月後には飽和する可能性も高い状況です。新フレームワークの認知能力分類は理論的に安定していますが、各能力次元を測定する具体的タスクは継続的な更新が前提となります。

更新を誰が、どの権限で、どの頻度で行うのかという運営体制が定まらなければ、ベンチマークは陳腐化し、業界標準としての機能を失う事態に陥ります。Kaggleコンペは外部からの新タスク募集の仕組みとして有効ですが、賞金イベントが終了した後の継続的運用設計は明確ではありません。AGI評価がデファクトスタンダードとして定着するためには、複数の研究機関や規制当局を巻き込んだ持続可能な運営体制の構築が、技術的課題と並ぶ重要論点として浮上している状況です。中立的な国際機関による運営や、各国規制当局との連携体制が、長期的な信頼性確保の鍵を握る要素となります。

OpenAIやAnthropic所属研究者からの公式論評が出ていない現状

新フレームワーク発表後の業界反応として注目されるのが、競合するOpenAIやAnthropic所属の主要研究者からの公式論評が、発表直後の段階では十分に出ていない点です。AGI研究の最前線にある両社が、DeepMindの提案する評価枠組みをどう受け止めるかは、業界標準化の行方を左右する要素となります。

沈黙の解釈は複数あり得ます。一つは、自社モデルを新フレームワークで評価したときの結果が公開しづらい水準であり、戦略的に距離を置いている可能性です。もう一つは、自社独自の評価フレームワークを準備中であり、対案を出す前に公式論評を避けている可能性です。三つ目は、単に評価プロトコルの精査に時間を要しているだけという可能性も考えられます。いずれにせよ、業界全体での評価枠組み標準化には、競合する主要研究機関の合意形成が不可欠であり、今後数カ月の動向が注目されている局面です。各社が独自フレームワークで対抗するか、共通基盤を受け入れるかの選択は、AGI評価の標準化スピードを大きく左右する分岐点となります。

Gary Marcus等懐疑派が指摘する認知能力定義そのものへの疑義

AGI懐疑派として知られるGary Marcus氏らからは、認知能力の定義そのものに対する根本的な疑義が示されています。10の能力分類は認知科学の知見に基づくとされていますが、人間の認知が本当にこの10次元に分解可能なのか、そして次元間の相互作用を無視できるのかという問いは依然として開かれています。

Marcus氏は従来から、現行LLMが人間レベルの知能に達するためには、少数事例からの学習能力や常識推論など、現行アーキテクチャでは扱いきれない要素が必要だと主張してきました。新フレームワークは測定の客観性を高めた点で評価できる一方、「この10次元を満たせば本当にAGIなのか」という構成概念妥当性の問いには明確な回答を提供していません。論文自体がこの不確実性を3つの主要要因の一つとして認めており、認知能力分類が今後の研究で改訂される可能性は織り込まれている状態です。批判は否定的というより、フレームワークの進化を促す建設的な意見として位置づけられる性質を持ちます。

AGI到達時期の予測に与える影響とDeepMind経営陣の時間軸見解

本章では、新フレームワークがAGI到達時期の予測議論にどう影響するかを、DeepMind経営陣の公式発言や他社見解と照らし合わせて整理します。

Shane Legg氏が長年示してきた2028年中央値予測と本論文との整合

DeepMind共同創業者でチーフAGIサイエンティストを務めるShane Legg氏は、AGI到達時期の中央値予測を長年にわたり2028年と公言してきた人物です。今回の論文の主要著者でもあるLegg氏の見解と、新フレームワークが想定する評価軸とは、整合性を意識した設計になっていると読み取れます。

具体的には、フレームワークが定義する第一段階のAGI(全10能力で人間中央値以上)を2028年前後に達成可能と見るならば、現在のフロンティアモデルが因果推論や抽象推論で人間ベースラインを大きく下回るとされる二次情報の解説結果との間に、技術ジャンプを要する大きなギャップが残されていることになります。Legg氏の予測は楽観派と懐疑派の中間的位置にあり、新フレームワークによって「2028年に何が達成されるべきか」が具体的な数値目標として可視化される効果が期待される状況です。予測そのものを検証するための観測枠組みが整った意義は大きいといえます。

Demis Hassabis氏が言及した5〜10年到達説と評価軸との接続点

DeepMind CEOのDemis Hassabis氏は、AGI到達時期について「5年から10年」という幅を持った見解を示しています。これは2026年時点からの予測としては2031年〜2036年の幅にあたり、Shane Legg氏の2028年中央値予測を含みつつ、より保守的な可能性も視野に入れた表現といえます。

新フレームワークとの接続点として注目されるのは、Hassabis氏の発言が幅を持つ理由が、能力次元によって到達時期が大きく異なる可能性を反映している点です。言語能力や知識検索では既に人間中央値を超えるモデルがある一方、抽象推論や因果推論では人間下位にも届かない現状を踏まえれば、「全10能力で人間中央値以上」という第一段階AGIの到達には複数次元のブレークスルーが必要となります。経営陣が幅を持った予測を示す背景には、能力プロファイルの不均一性に対する認識があると読み取れる構造です。能力次元ごとの進捗速度が異なる前提に立てば、5年で第一段階に到達するシナリオと、10年かけて達成するシナリオの両方が現実的な選択肢として位置づけられる状況です。

2030年到達説を支持する根拠と本フレームワークが課す検証要件

業界全体では、AGI到達時期を2030年前後とする見解が一定の支持を集めています。この見解の根拠は、計算資源のスケーリング則、推論能力のテスト時計算による飛躍、マルチモーダル学習の進展、エージェント能力の向上といった近年のトレンドの組み合わせです。新フレームワークはこの2030年到達説に対して、明確な検証要件を課す形になります。

検証要件とは、10の能力次元全てで人間中央値以上のスコアを達成することです。現状の偏ったプロファイルから判断すれば、抽象推論や因果推論で人間ベースラインを大きく下回るとされる領域を5年程度で人間中央値水準まで引き上げる必要があり、これは単純なモデル規模拡大では困難と考えられています。2030年到達説を支持する研究者は、新フレームワークの導入によって自説の検証可能性が高まる一方、達成困難な能力次元を抱える事実とも向き合う必要が出てくる構図です。予測の客観化と検証可能化が同時に進む意義があります。

楽観派と懐疑派で分かれる時間軸見解の主要な対立点と判定の基準

AGI到達時期に関する見解は、楽観派と懐疑派で大きく分かれており、両者の対立点は新フレームワークの導入で整理しやすくなりました。楽観派は2027〜2030年到達を主張し、現行モデルのスケーリングと推論能力の改善で全能力次元を満たせると見ています。懐疑派は2035年以降あるいは現行アーキテクチャでは不可能と主張し、抽象推論や因果推論には根本的な技術ジャンプが必要だと指摘しています。

判定の基準として有効になるのは、能力次元ごとの年次進捗データです。新フレームワークによる定期的なベンチマーク評価が実施されれば、各能力次元での年間スコア向上率が観測可能となり、予測の妥当性を継続的に検証できるようになります。これにより、AGI到達時期の議論は信念対立から証拠ベースの議論へと変質する可能性があり、業界全体の議論の質を引き上げる効果が期待されている発表です。観測データが蓄積されるほど、楽観派・懐疑派双方が自説を更新せざるを得ない圧力が高まり、健全な科学的議論への移行が促進される構造になっています。

2030年AGI到達説が伴う重大リスクとDeepMind 145頁論文との関係

2030年AGI到達説には、技術的興奮だけでなく重大なリスク認識が伴っています。DeepMindは2025年に145頁に及ぶAI安全性論文を公開しており、AGI到達が「深刻な危害」を引き起こす可能性、極端な場合には「人類を永続的に破壊する」可能性すらあると論じました。今回のCognitive Taxonomy発表は、この安全性論文と対をなす能力評価層と位置づけられます。

関係を整理すると、安全性論文が「AGI到達後の世界をどう管理するか」を論じるのに対し、能力評価論文は「AGIに到達したかをどう判定するか」を扱います。両論文を組み合わせると、能力プロファイルが第一段階AGIに達した時点で安全性評価とガバナンスを発動するという運用設計が想定可能です。ただし、能力評価論文の初版に安全性評価が含まれていないことは前述の通り限界であり、両フレームワークの統合運用方法は今後の重要研究課題として残されている状況です。AGI到達時期の議論は、もはや技術予測だけでなく社会的リスク管理と不可分の主題となっています。

AI開発企業と評価指標業界の実務に及ぶ影響と各社に求められる対応

本章では、新フレームワークが実務にもたらす影響を、AI開発企業・評価ベンダー・日本企業・規制当局という4つの立場から具体的に整理していきます。

OpenAI・Anthropic・Meta等主要研究機関に求められる対応の選択肢

新フレームワークの登場により、OpenAI・Anthropic・Meta等の主要研究機関には複数の対応選択肢が突きつけられています。第一の選択肢は、自社モデルを新フレームワークで評価し、結果を公開する追従戦略です。これは透明性確保と業界標準への協調を示す一方、能力次元の偏りや弱点が明らかになるリスクも伴います。

第二の選択肢は、独自の評価フレームワークを提案し、対抗軸を打ち出す戦略です。Anthropicが安全性評価で独自の取り組みを進めているように、各社の研究思想を反映した代替案が出てくる可能性も高まっています。第三の選択肢は、共同で評価標準を策定する協調戦略で、業界横断のコンソーシアムを通じて中立的な評価機関を立ち上げる動きが想定される展開です。いずれの選択肢を取るにせよ、競合する主要研究機関の対応次第で、新フレームワークの業界標準化スピードが大きく変わる局面に入っています。今後12カ月の各社発表が業界の方向性を決める重要期間となります。

自社モデル評価レポートに10能力次元を組み込む実務上の3手順

AI開発企業が自社モデルの評価レポートに10能力次元を組み込む際には、段階的なアプローチが推奨されます。実務上の手順は以下の通りです。

1. 10能力次元の中から自社モデルの主要ユースケースに直結する3〜5次元を選定し、優先評価対象として設定します。例えば対話AIなら社会的認知・問題解決・生成を優先する形です。
2. 選定した能力次元について、既存ベンチマークと新規生成タスクを組み合わせた評価セットを構築し、人間ベースラインデータも収集する工程に進みます。Kaggleコンペで公開される新タスクの活用も選択肢に入る状況です。
3. 能力プロファイル図を作成し、評価レポートに掲載するとともに、弱点次元については改善ロードマップを併記する運用を確立します。透明性を保ちつつ改善計画を示す姿勢が、ユーザーや投資家からの信頼を獲得する鍵です。

段階的導入により、評価コストを抑えながら徐々に全10次元へ展開する現実的な道筋を描けます。一気に全次元を整備しようとすると工数が膨大となるため、ユースケース優先のスモールスタートが実務的な選択です。

評価ベンダー業界が直面する事業モデルの変革と新規参入企業の機会

AI評価サービスを提供するベンダー業界は、新フレームワークの登場で事業モデルの大きな変革を迫られる局面です。従来のリーダーボード型評価サービスは、新たな評価軸への適応が必要であり、認知能力プロファイル評価を標準提供できないベンダーは競争力を失う可能性があります。

一方、変革は新規参入企業にとって大きな機会でもあります。10能力次元それぞれに特化した評価サービス、人間ベースラインデータの収集・提供サービス、認知プロファイル可視化ツール、業種別の重視次元コンサルティングなど、新たな事業領域が次々と生まれる構造です。特に医療・金融・教育といった規制業種では、用途に即した能力次元評価のニーズが急増すると見られています。日本企業にとっても、認知科学・心理学のバックグラウンドを持つ人材を活用した評価サービス領域は、後発でも参入余地がある分野として注目される機会となっています。学術機関との連携や、独自データセット構築による差別化など、後発参入でも勝機を見いだせる領域が複数存在する点が、この変革局面の特徴です。

日本企業のLLM導入判断で参照すべき10能力スコアの活用観点

日本企業がLLMを業務導入する際の判断基準として、10能力スコアは極めて有用な参照軸となります。従来は「GPT-4 が良いらしい」「Claude が日本語に強いらしい」といった漠然とした評判ベースの選定が多かったところ、能力プロファイルを参照すれば、業務要件に直結する選定が可能になります。

例えば、コールセンター業務では社会的認知のスコアが、契約書レビュー業務では推論と問題解決能力のスコアが、研究開発支援では学習能力とメタ認知のスコアがそれぞれ重視されるべき次元です。導入PoC段階で、自社業務に直結する能力次元を3〜5個選定し、候補モデルの該当次元スコアを比較する手順を組み込めば、選定プロセスの客観性と再現性が大きく向上します。経営層への稟議資料としても、10能力プロファイル比較表は説明力の高い材料となり、社内合意形成を加速させる効果が期待される活用観点です。「なぜこのモデルを選んだのか」という問いに対し、業務要件と能力次元の対応関係で根拠を示せる構造は、ガバナンス強化の文脈でも有用な道具立てとなります。

規制当局とガバナンス担当者が抑えるべき評価結果の解釈ポイント

AI規制を担う当局やコーポレートガバナンス担当者にとって、新フレームワークは規制設計の新たな道具となります。評価結果を読み解く際の解釈ポイントとしては、まず単一の総合スコアに惑わされないことが重要です。10能力プロファイル全体を見て、特に規制対象業務で要求される能力次元のスコアを個別に確認する姿勢が求められます。

例えば、医療診断補助AIに対しては推論と問題解決の人間水準到達を要件化する、対人サービスAIに対しては社会的認知の最低基準を設けるといった、能力次元別の規制設計が可能になります。また、能力プロファイルが急変した場合(例:特定能力で人間最高水準を突破)は、追加的な安全性評価を発動するというトリガー設計も有効です。新フレームワークは規制を硬直化させる道具ではなく、能力に応じた柔軟な規制適用を可能にする基盤と捉えるべきものといえます。リスクベースアプローチの精度向上に直結する解釈の枠組みが、ここに用意されています。

Kaggleコンペや今後の展開と読者が押さえるべき注目ポイント

本章では、新フレームワークと並行して開催されるKaggleコンペティションの詳細や、今後注視すべき動向、解釈時に陥りやすい誤読パターンを整理して締めくくります。

20万ドル賞金Kaggleコンペの開催趣旨と参加に必要な3つの条件

新フレームワーク発表と同時にDeepMindが立ち上げた20万ドル規模のKaggleコンペティションは、新世代AGIベンチマーク設計を外部研究者から募集する取り組みです。公式ブログによれば、コンペの対象は10能力全てではなく、評価ギャップが最も大きい5分野(学習・メタ認知・注意・実行機能・社会的認知)に絞られた5トラック構成となっています。賞金は各トラック上位2件に1万ドル、最優秀総合4件に2万5千ドルが付与され、参加者はKaggleの「Community Benchmarks」プラットフォーム上でフロンティアモデル群に対する評価を構築・実施する形式です。

参加に必要な主要条件は概ね以下の3点に整理できます。第一に、5トラックのいずれかに対応する認知能力を明確に測定する設計であること。第二に、人間ベースラインとの比較が可能な構造を備えていること。第三に、訓練データ汚染を避けるための新規性と再現性を両立していることです。これらは単なる形式要件ではなく、認知科学的妥当性とAI評価実務の両方を理解したタスク設計が求められる難易度の高い条件となります。応募期間は2026年3月17日から4月16日まで、結果発表は同年6月1日と明示されており、AGI評価エコシステムへの参加機会として注目される取り組みです。賞金規模も研究プロジェクトとしては魅力的な水準にあり、認知科学系の博士課程学生や評価ベンダー所属の研究者を中心に、応募が活発化する可能性が見込まれる状況となっています。

コンペで新ベンチマーク提案者に期待される評価項目と審査の基準

Kaggleコンペで提案される新ベンチマークは、複数の評価項目によって審査されると見込まれる仕組みです。主要な審査基準としては、構成概念妥当性(意図した能力を本当に測定しているか)、識別力(モデル間・人間との差異が明確に出るか)、汚染耐性(訓練データに混入しにくいか)、運用容易性(継続的なタスク更新が可能か)、再現性(同条件で同結果が出るか)の5点が想定されます。

提案者は単に難しい問題を作るのではなく、認知科学の知見に基づいた根拠提示が求められます。例えば抽象推論を測るタスクなら、人間の抽象推論研究の先行文献を引用し、提案タスクが既存研究の評価項目とどう対応するかを論証する必要があるでしょう。審査プロセス自体が認知科学とAI評価の橋渡しとなる構造であり、提案を通じて両分野の知見が融合していく効果が期待される設計です。賞金を獲得する提案がどの能力次元に集中するかも、業界の関心領域を示す指標として注目されています。

初版に欠ける安全性評価が次版で追加される可能性と監視ポイント

新フレームワーク初版には安全性評価が含まれていない点が大きな限界として指摘されていますが、次版での追加可能性は十分にあります。DeepMindは別途145頁の安全性論文を公開しており、能力評価と安全性評価を統合する方法論の研究は内部で進行中と推測される状況です。

監視すべきポイントは複数あります。第一に、安全性評価独自の能力次元(例:有害指示の拒否能力、誤情報生成抑制能力、自己保存志向の有無など)が10能力に追加される可能性です。第二に、能力次元ごとの「危険な水準」を定義し、規制発動の閾値を設ける動きが進む見通しになります。第三に、能力評価と安全性評価を別フレームワークとして並列運用する設計です。いずれの方向に進むかは、AGI到達リスクへの業界全体の対応姿勢を反映するため、安全性研究コミュニティだけでなく規制当局や投資家も注視する論点となっています。次版発表の時期と内容は今後12カ月の最大の注目要素の一つです。能力評価と安全性評価の統合は、技術的にも政治的にも複雑な調整を要する作業であり、複数バージョンの提案が並立する可能性も視野に入れる必要があります。

研究者・実務者・投資家それぞれが追うべき今後12カ月の動向指標

新フレームワーク発表後、立場ごとに追うべき動向指標は異なります。研究者にとっては、Kaggleコンペで採択される新タスクの内容、認知能力定義に対する後続論文の応答、安全性評価との統合提案などが主要な観察対象となります。実務者にとっては、主要LLMの10能力プロファイル公表状況、評価ベンダー各社の対応サービス、業種別の能力次元優先度ガイドラインの登場が重要指標です。

投資家にとっては、AGI到達時期予測の修正動向、能力次元ごとの進捗率データ、AI企業の評価レポート開示内容、規制当局の能力次元別規制案の動向が判断材料となります。いずれの立場でも、単発の発表に一喜一憂するのではなく、12カ月単位での能力次元別進捗率の推移を観察することが、AGIに向けた現実の動きを把握する最も有効なアプローチです。観測軸が整ったことで、ようやく証拠ベースのAGI議論が可能になった点を、各立場で活用していく姿勢が求められる局面です。

読者が誤読しやすい3つの典型的な解釈ミスと回避するための判断軸

最後に、新フレームワーク関連の報道や論評を読む際に、読者が誤読しやすい3つの典型的な解釈ミスを整理します。第一の誤読は、「DeepMindがAGIを定義した」と受け取ることです。フレームワークが提示するのはAGI判定の測定方法であり、定義そのものに完全な合意があるわけではありません。

第二の誤読は、「全10能力で人間中央値を超えたAGIはもうすぐ実現する」と楽観視する見方です。現実には抽象推論や因果推論など、複数次元で人間水準に届かないギャップが残されており、技術ジャンプを伴わない単純延長では到達困難という冷静な認識が欠かせません。第三の誤読は、「能力評価で高得点なら安全」と考えることです。能力と安全は別軸であり、能力次元のスコアが高くても安全性が担保されたことにはなりません。判断軸としては、能力プロファイルを「ある時点でのスナップショット」と捉え、時系列での進捗・安全性評価の併用・能力次元ごとの個別解釈という3点を常に意識する姿勢が、報道や論評を冷静に読み解く鍵となります。