MMLUとは？57科目・14,042問の中身と主要モデルのスコアの読み方

MMLU（Measuring Massive Multitask Language Understanding）は、数学・法律・医学・歴史など57科目の4択問題で、大規模言語モデル（LLM）がどれだけ幅広い知識を持っているかを測るベンチマークです。スコアは正答率（%）で、ランダムに答えれば約25%、論文が推定した専門家水準は89.8%です。

ただしMMLUの数字は、そのまま横に並べると判断を誤ります。同じモデルでも評価コードの違いで63.7%と48.8%に分かれた実例があり、「90%超え」と報じられた数字も採点条件を揃えると順位が入れ替わります。この記事では、原論文・配布データ・評価ツールの設定を実物で確認し、スコアの読み方と自分で測る手順まで整理します。

まとめ：MMLUの要点

• 中身：57科目の4択問題。原論文は15,908問、現在Hugging Faceで配布されている版は評価用テストが14,042問。
• 基準値：ランダム約25%、Amazon Mechanical Turkの一般回答者34.5%、専門家の推定89.8%。2020年のGPT-3（1750億パラメータ）は43.9%だった。
• 比較の注意：ショット数（例題の数）、CoT（思考過程の出力）とサンプリング回数、採点方式で点が数ポイント〜十数ポイント動く。Llama 3.1 405Bにはベース版85.2%、指示調整版の5-shot 87.3%・0-shot CoT 88.6%という報告がある。条件が同じ数字だけを比べる。
• 上位モデルの水準：本記事で紹介する公称値には87〜93%前後の例があるが、評価条件が異なるため、その差だけでは優劣を判断できない。
• 限界：問題の約6.49%に何らかの誤りがあると推定される。ただし、この割合はスコアの誤差幅ではない。
• 後継・派生：難化版のMMLU-Pro（最大10択・12,032問）、テストを非公開にして汚染を防ぐMMLU-CF、人手翻訳のMMMLU（日本語を含む14言語）、日本独自問題を含むJMMLU（科目別の利用条件あり）がある。

MMLUの成り立ちと出題範囲

MMLUは、カリフォルニア大学バークレー校のDan Hendrycksらが2020年9月にarXivで公開し、ICLR 2021に採択された論文「Measuring Massive Multitask Language Understanding」で提案されました。当時のベンチマークはGLUE・SuperGLUEのように文の関係判定や読解が中心で、モデルが事前学習で身につけた多分野の専門知識を、十分に網羅して測れていませんでした。MMLUはそこを埋めるため、大学院生・学部生がWeb上で公開されている過去問や練習問題を手作業で集めています。

出題元には、米国の大学院入試GRE、医師国家試験USMLE、心理学の専門職試験EPPP、学部の授業用問題などが含まれます。同じ分野でも「Elementary」「High School」「College」「Professional」と難易度別に科目が分かれている点が特徴で、たとえばProfessional MedicineはUSMLEの練習問題から作られています。

57科目は、評価ツールでは4つの大分類にまとめて集計されます。配布データを数えると、大分類ごとの問題数は次のとおりです。

※Hugging Face「cais/mmlu」のテスト14,042問を、lm-evaluation-harnessの科目対応表で集計（2026年9月実測）。

1問は「問題文＋A〜Dの選択肢＋正解の記号」という単純な形です。論文には、独占が規制される理由を問うミクロ経済学の問題や、投げ下ろしたボールの加速度を問う物理の問題が例として載っています。

MMLUのデータセット構成と件数

論文の15,908問と配布版14,042問の違い

MMLUの問題数は資料によって「15,908問」「約14,000問」と揺れます。これは論文の記載と、現在一般に使われている配布データの件数が一致していないためです。

論文の3分割を足すと15,904問で、論文の総数15,908問とも4問合いません。スコアの計算に使うのはtestだけなので、「MMLUの正答率」はほぼ14,042問に対する値だと考えてかまいません。配布版にはこのほか、補助学習用のauxiliary_train（99,842問）が付いています。ライセンスはMITです。

科目ごとの問題数の偏り

論文は各科目のテスト問題を最低100問としていますが、上限はありません。実データで最も多いのは専門法学（professional_law）の1,534問で、テスト全体の10.9%を占めます。次いで倫理的シナリオ895問、雑学783問と続き、抽象代数や大学化学など多くの科目はちょうど100問です。

この偏りは総合スコアの計算方法に直結します。次の章で扱う「問題単位の平均」では、法律の出来がスコア全体の1割強を左右します。

MMLUスコアの計算方法と基準値

MMLUのスコアは正答率（accuracy）です。4択なのでランダムに答えれば理論上25%ですが、配布版テストは正解の記号が均等ではありません。実測すると正解がAの問題は22.95%、Dは26.89%で、「常にDと答える」だけで26.89%が出ます。25%を少し超えた程度のスコアは、知識ではなく偏りを拾っている可能性があります。

論文が示した人間とモデルの基準値は次のとおりです。

89.8%は実際に専門家にMMLUを解かせた結果ではありません。USMLE受験者の上位5%がおよそ87%という数字のように、元の試験の上位5%の正答率を集め、データが無い科目は推測で補った推定値です。「AIが専門家を超えた」という報道の多くはこの値を基準にしているので、比較対象としての精度はその程度だと見ておく必要があります。

総合スコアには、全問題を1問ずつ平均する方法（micro平均）と、科目ごとの正答率を平均する方法（macro平均）があります。論文の表は加重平均で、評価ツールlm-evaluation-harnessも問題数で重み付けする設定（weight_by_size）です。後述の再現コードで「常にD」と答えると、micro平均26.89%、macro平均27.04%となり、同じ回答でも集計方法だけで数字が変わります。

同じモデルでもMMLUの点が変わる3つの条件

同じ問題でも、例題の数・採点方式・推論のさせ方によってスコアが変わります。評価条件の設計全般はLLM評価の指標とデータセット設計で整理しています。

原典実装のプロンプトと採点方式

論文の評価コード（GitHubのhendrycks/test）は、各科目のプロンプトを「The following are multiple choice questions (with answers) about 科目名.」で始め、devの例題を最大5問並べてから本番の問題を置き、末尾を「Answer:」で終えます。採点はモデルに文章を生成させず、次に来るトークンが「A」「B」「C」「D」である確率を比べ、最も高いものを回答とみなします。

見落とされやすいのが、同じリポジトリのcrop.pyです。プロンプトがGPT-2のトークナイザーで2,048トークンを超えると、収まるまで例題を1問ずつ減らします。長文の多い科目では「5-shot」と書かれていても、実際には5問より少ない例題で解いている問題があります。例題の数と並べ方がスコアに与える影響はFew-shotプロンプトの例示の選び方で詳しく扱っています。

評価コード3種でLLaMA 65Bが63.7%と48.8%に分かれた例

2023年6月、Hugging FaceはOpen LLM Leaderboard上のLLaMAのMMLUスコアが論文値より大幅に低い理由を調べ、原因が評価コードの違いにあったと報告しました。同じデータ・同じ5-shotでも、採点方式が次のように違っていました。

※Hugging Face公式ブログ「What’s going on with the Open LLM Leaderboard?」（2023-06-23）の表より。

LLaMA 65Bは実装によって約15ポイント差が出て、Falcon 40Bとの順位も入れ替わります。その後Harness側のMMLUは原典実装に近い方式へ改修されましたが、現在のlm-evaluation-harnessにも記号の確率で採点する「mmlu」、選択肢の文を続きとして採点する「mmlu_continuation」、記号を生成させて完全一致で採点する「mmlu_generative」が併存しています。論文や記事で「MMLU ○%」とだけ書かれていたら、どの方式かを確認するまでは比較に使わないほうが安全です。

5-shotとCoT@32：「MMLU 90%」の条件

2023年12月、GoogleはGemini Ultraが「MMLUで初めて人間の専門家を上回る90.0%」に達したと発表しました。この値はCoT（思考過程を書かせる手法）の回答を32回サンプリングし、確信度が高ければ多数決、低ければ通常の回答を採る独自の方式（uncertainty-routed CoT@32）によるものです。同じ技術報告の10.2節には、条件ごとの値が並んでいます。

※Gemini技術報告（arXiv:2312.11805）表2と図9。GPT-4の5-shot値はGPT-4技術報告（arXiv:2303.08774）表2。

4つの条件のうち3つではGPT-4が上回り、Geminiが勝つのはGoogleが提案した方式の1条件だけです。発表の見出しに使われた数字が、そのモデルに最も有利な条件の値であることは珍しくありません。CoTの仕組みと効く場面はChain of Thoughtの解説で扱っています。

主要モデルのMMLU公称スコアと報告条件

「MMLU ランキング」で見つかる比較表の多くは、各社の発表値を条件を書かずに並べたものです。一次資料に載っている値を、評価条件と一緒に並べると次のようになります。

※Llama 3.1のモデルカード、DeepSeek-V3のREADME、openai/simple-evals、gpt-oss技術報告（arXiv:2508.10925）を2026年10月に確認。

注目すべきはLlama 3.1 405Bです。Metaの同じモデルカードの中に、ベースモデルの5-shot 85.2%、指示調整版の5-shot 87.3%、0-shot CoT 88.6%の3つの値があります。simple-evalsとDeepSeek-V3のREADMEが比較相手として載せている405Bの値は88.6%で、CoT条件の数字です。比較記事で「405Bは88.6%」と書かれていたら、相手のモデルも同じ条件で測った値かどうかを確かめてください。

この表で紹介した指示調整・推論モデルの公称値には、87〜93%前後の例があります。この幅は、前の章で見た実装やプロンプトによる変動と同じ程度です。表の順位をそのままモデルの優劣と読むことはできません。OpenAIのsimple-evalsはREADME冒頭で、2025年7月以降は新しいモデルの結果を更新しないと告知しています。一方、gpt-oss技術報告（2025年8月）はMMLUを推論レベル別に載せ、多言語の比較には翻訳版のMMMLUを使っています。

70%前後のスコアは、Llama 3.1 8B Instructの5-shot 69.4%（0-shot CoTでは73.0%）が目安です。2024年の時点で、8B級の指示調整モデルが届いた水準と考えられます。同じカードでは、70B Instructが5-shot 83.6%です。

MMLUの限界：誤りラベルと天井

MMLUでは、問題側の誤りがモデル間の比較を歪める場合があります。エジンバラ大学などの研究者による「Are We Done with MMLU?」（arXiv:2406.04127）は、14人の専門家が57科目から計5,700問を再注釈し、MMLU全体の6.49%に誤りがあると推定しました。誤りの多い科目は極端で、Virology（ウイルス学）では分析した問題の57%に誤りがあり、エボラ流行の予防策として米軍の西アフリカ派遣を正解とする問題まで含まれていました。

再注釈した5,700問はMMLU-Redux 2.0（CC BY 4.0）として公開されています。同論文はこのデータで主要モデルを評価し直し、誤りの多い科目では順位が入れ替わることを示しました。たとえばVirologyでは、Llama 3.1 Instruct Turbo（405B）が全問題では16位、誤りの無い問題だけでは1位でした。MMLU-Proの論文も、解答不能や誤った正解の問題がモデルの到達できる上限を押し下げていると指摘しています。

もう1つの限界はプロンプトへの過敏さです。MMLU-Proの論文によると、24種類のプロンプト書式によるMMLUのスコア変動幅は、実験対象のモデルで概ね4〜5ポイントでした。上位モデル同士の差が数ポイントしかない状況で、この揺れと誤りラベルの両方を無視して優劣を語ることはできません。

データ汚染（評価問題が学習データに混入すること）にも注意が必要です。MMLUは問題も正解も公開されているため、学習データに混入しても外からは見分けにくい構造です。この問題に正面から取り組んだのが、2024年12月に公開されたMMLU-CF（arXiv:2412.15194）です。MMLU-CFは出典を広げて問題を集め直し、3つの除染ルールを適用しています。そのうえで、4択の検証用1万問だけをHugging Faceのmicrosoft/MMLU-CFで公開し、テスト用の1万問は非公開にしました。論文の評価では、GPT-4oでもテストの正答率は5-shotで73.4%、0-shotで71.9%でした。テストのスコアは、検証用の結果を添えてGitHubのIssueで依頼する仕組みで、READMEでは受け取りまで通常1〜2週間かかるとしています。

MMLU-Pro・MMLU-Redux・多言語版の違い

MMLUの限界を受けて、改良版や翻訳版がいくつも作られています。主なものの違いは次のとおりです。

※各データセットのHugging Faceデータカードと件数API（2026年9月確認。MMLU-CFは2026年10月確認）。

MMLU-Pro：10択化と推論重視の難化版

MMLU-Proは、ウォータールー大学などのTIGER-Labが2024年に公開した後継版です。MMLUからの選別と外部問題の追加により14分野・12,032問を構成し、GPT-4-Turboで誤答の選択肢を増やして最大10択にしました（83%が10択、平均9.47択）。論文で評価したモデルでは、MMLUより正答率が16〜33ポイント低く、プロンプト書式による変動幅は概ね4〜5ポイントから約2ポイントに縮みました。

性質の違いが最も出るのがCoTの効き方です。GPT-4oの正答率はCoTでMMLU-Proが19.1ポイント、MMLUが1.5ポイント上昇しました。MMLUは知識の有無で決まる問題が多く、MMLU-Proは計算や推論の手順が要る問題が多いということです。上位モデルの差をMMLUで測れなくなったときの移行先は、MMLU-Proが第一候補です。推論系のベンチマークとしてはBIG-Bench Hard（BBH）も同じ飽和の問題を経ています。

日本語評価におけるMMMLUとJMMLUの使い分け

ここでは、日本語で知識を測る代表例としてMMMLUとJMMLUを比較します。OpenAIのMMMLUは、MMLUのテスト14,042問をプロの翻訳者が人手で14言語に訳したもので、日本語版（JA_JP）も英語版と同じ14,042問です。英語版と問題が1対1で対応するので、「同じモデルが英語と日本語でどれだけ落ちるか」を測れます。gpt-oss-120bの性能比較でも、日本語の知識はMMMLUの値で比べています。

早稲田大学のJMMLUは、MMLUの各科目から最大150問を機械翻訳して翻訳者が点検し、日本の文化に合わない問題や訳しにくい問題を除いたうえで、日本史・日本地理・公民・熟語の4科目を日本の教員が新たに作成しています。計56科目・7,536問です。日本固有の知識まで測れます。

利用条件は科目ごとに異なります。GitHubの公式リポジトリでは53科目・7,097問がCC BY-SA 4.0、熟語・公民・日本地理の3科目・439問がCC BY-NC-ND 4.0で、後者は言語モデルの研究・評価に限って商業利用を認めています。日本史・世界史も、言語モデルの研究・評価以外の商業利用は禁止です。Hugging Faceのデータカードは全体をCC BY-NC-ND 4.0と表示しており、表記が揃っていません。モデルの評価に使う分には問題ありませんが、問題文を教材や資料に転載する用途では科目別の条件を先に確認してください。

MMLUを自分で実行する手順

公開スコアの条件が不明なら、自分で同じ条件で測るのが確実です。ここでは広く使われている評価ツールと、原典の書式に倣った簡易コードの2つを示します。

lm-evaluation-harnessによるMMLU評価の設定

EleutherAIのlm-evaluation-harness（2026年8月31日時点の最新はv0.4.13）には、MMLUがタスク「mmlu」として入っています。Hugging Face上のモデルなら次のコマンドで測れます。

pip install "lm_eval[hf]==0.4.13"

lm_eval --model hf \
    --model_args pretrained=EleutherAI/pythia-160m \
    --tasks mmlu \
    --num_fewshot 5 \
    --batch_size auto

設定ファイルを確認すると、MMLUのタスク定義には例題数の指定がありません。--num_fewshot 5を付け忘れるとゼロショットで評価され、論文や多くの発表が使う5-shotの値とは比べられなくなります。総合スコアは問題数で重み付けしたmicro平均で出力されます。

Pythonによる5-shotプロンプトの組み立てと集計

自社のAPIや独自の推論サーバーを評価したい場合は、原典を参考にした簡易評価コードを使う方法もあります。ただし、以下の例は空白の配置、入力長に応じた例題削減、A〜Dの確率比較まで原典どおりに再現するものではありません。次のコードはHugging Faceの配布データ（Parquet）を直接読み、5-shotのプロンプトを組み立てて正答率をmicro・macroの両方で出します。

実行にはpandasとParquet読み込み用のpyarrowが必要です。事前にpip install pandas pyarrowで導入します。

import pandas as pd

BASE = "https://huggingface.co/api/datasets/cais/mmlu/parquet/all"
LETTERS = ["A", "B", "C", "D"]

test = pd.read_parquet(f"{BASE}/test/0.parquet")
dev = pd.read_parquet(f"{BASE}/dev/0.parquet")


def fmt(row, with_answer):
    s = row.question.strip()
    for letter, choice in zip(LETTERS, row.choices):
        s += f"\n{letter}. {choice}"
    s += "\nAnswer:"
    if with_answer:
        s += f" {LETTERS[row.answer]}\n\n"
    return s


def build_prompt(row, k=5):
    subject = row.subject.replace("_", " ")
    head = f"The following are multiple choice questions (with answers) about {subject}.\n\n"
    shots = dev[dev.subject == row.subject].head(k)
    return head + "".join(fmt(r, True) for r in shots.itertuples()) + fmt(row, False)


def predict(prompt):
    # ここを自社モデルの呼び出しに置き換える（A-Dの1文字を返す）
    return "D"


test["pred"] = [predict(build_prompt(r)) for r in test.itertuples()]
test["correct"] = test.pred == test.answer.map(lambda i: LETTERS[i])

micro = test.correct.mean() * 100
macro = test.groupby("subject").correct.mean().mean() * 100
print(f"questions={len(test)} subjects={test.subject.nunique()}")
print(f"micro(問題単位)={micro:.2f}% macro(科目単位)={macro:.2f}%")

predictが常に「D」を返す状態で実行すると、次の出力になります（Python 3.9.6・pandas 2.3.3・pyarrow 21.0.0で全件実行、2026年10月）。

questions=14042 subjects=57
micro(問題単位)=26.89% macro(科目単位)=27.04%

この26.89%は、常にDを選ぶ固定回答の比較基準です。知識のないモデルの下限を意味するものではありません。predictを差し替えて測ったスコアがこの近辺なら、回答の抽出（モデルの出力からA〜Dを取り出す処理）が壊れていないかを先に疑ってください。チャット形式のモデルが「答えはBです」のように文章で返す場合、記号を正しく抽出できないと、内容上は正解でも不正解として集計されます。複数のモデルを同じ入力で比べる仕組みはAI比較の実装手順にまとめています。

MMLUスコアの使いどころと使うべきでない場面

MMLUが今も役に立つのは、小〜中規模のモデルを比べる場面です。候補モデルのスコアが飽和していない場合は、評価条件を揃えたうえで、学習データやモデル規模の変更前後を比較できます。自社でファインチューニングしたモデルが元のモデルより一般知識を失っていないか（いわゆる破滅的忘却）を確認する回帰テストとしても、手順が決まっていて再現しやすい指標です。

逆に、公開されている上位モデル同士をMMLUの数字だけで選ぶのはやめるべきです。理由は3つあります。1つ目に、数ポイントの差は、設問の誤りやプロンプト書式による変動の影響を切り分けないと解釈できません（誤り率6.49%はスコアの誤差幅そのものではない点に注意）。2つ目に、公表値は採点方式やCoT条件がモデルごとに違います。3つ目に、4択の知識問題の正答率は、文章の生成、指示への従い方、日本語での業務文書の品質を測っていません。

モデル選定では、MMLUを「最低限の知識があるか」の足切りに使い、比較はMMLU-Proのような難化版、人間の好みを集めたArenaのリーダーボード、そして自社の実データで作った評価セットで行うのが現実的です。業務の問い合わせ履歴から評価セットを作り、候補モデルを比べる段階で手が足りない場合は、生成AI導入支援で評価設計から相談できます。

MMLUに関するよくある質問

MMLUは何の略ですか？

Measuring Massive Multitask Language Understandingの略で、2020年に公開された原論文のタイトルがそのまま名前になっています。日本語では「大規模マルチタスク言語理解」と訳されることがあります。

MMLUのスコアは何%なら高いのですか？

目安は、ランダム約25%、一般の回答者34.5%、専門家の推定89.8%です。ただし、常にDと答える固定回答でも26.89%になるため、低いスコアはランダム回答や固定回答と比較して解釈する必要があります。本記事で紹介した公称値には87〜93%前後の例があり、70%前後はLlama 3.1 8B Instruct（5-shot 69.4%）の水準です。また、5-shotかCoTか、どの評価コードかで同じモデルでも数ポイント以上変わるため、条件が揃った数字同士でしか高い・低いは判断できません。

MMLUとMMLU-Proの違いは何ですか？

MMLU-Proは、MMLUから選別した問題と外部から追加した問題で構成する12,032問・14分野の難化版で、選択肢は最大10択です。原論文の実験では、正答率はMMLUより16〜33ポイント低く、プロンプト書式による変動幅は概ね4〜5ポイントから約2ポイントに縮みました。上位モデルの差を測るならMMLU-Proの方が向いています。

MMLUに日本語版はありますか？

あります。英語版の14,042問を人手で翻訳したOpenAIのMMMLU（日本語を含む14言語・MIT）と、翻訳問題に日本史・日本地理などの独自問題を加えた早稲田大学のJMMLU（7,536問・科目別の利用条件あり）が代表的です。英語版と直接比べたいならMMMLU、日本固有の知識まで測りたいならJMMLUが向いています。利用時は科目別のライセンスと、研究・評価用途の特則を確認してください。

MMLUのデータセットはどこで入手できますか？

Hugging Faceの「cais/mmlu」から入手できます（MITライセンス）。57科目それぞれの設定と全科目をまとめた「all」があり、test 14,042問・validation 1,531問・dev 285問に分かれています。原論文の評価コードはGitHubのhendrycks/testで公開されています。

関連記事

• LLM評価とは？指標・データセット設計・評価ツールの選び方を実装視点で解説【2026年版】
• BIG-Bench Hard（BBH）とは？23タスクの中身とCoTの効果・飽和後の使い方
• Arena（旧Chatbot Arena・LMArena）の使い方｜arena.aiの投票手順とリーダーボードの見方
• AI比較の実装手順｜同じ入力を各社モデルへ流して品質とコストを測る
• Chain of Thoughtとは？CoTプロンプトの書き方・推論モデルでの扱いと限界を実装目線で解説【2026年版】