Parameter Golf（パラメーターゴルフ）とは？OpenAIの16MB圧縮チャレンジの結果と勝ち筋

Parameter Golf（パラメーターゴルフ）は、OpenAIが2026年3月18日に始めた公開研究コンペ「Model Craft Challenge」です。重みと訓練コードを合わせて16MB以内に収め、8基のNVIDIA H100で10分以内に訓練したLLMの性能を競いました。開催は2026年4月30日（太平洋時間）で終了しており、いまから提出はできません。この記事は「結局それが何で、どんなルールで、何が起きたのか」を、OpenAIの公式発表とリーダーボードの一次情報で整理します。

まとめ：Parameter Golfの要点

• 正体：16MB以内・10分以内（8×H100）でLLMを訓練し、圧縮性能で競うOpenAIの公開コンペ。開催期間は2026年3月18日〜4月30日で終了済み。
• 評価指標：FineWeb検証データに対するBPB（Bits Per Byte）。トークナイザ非依存で、値が小さいほど上位。
• 結果：8週間で1,000人超・2,000件超が提出。ベースライン1.2244 BPBは、期間中に約1.11 BPB、記録トラック最上位で約1.06 BPBまで更新された（最新値は公式リーダーボードで確認）。
• 最大の教訓：提出者の大多数がコーディングエージェントを使い、参入障壁が下がった一方、上位の小改変コピー提出が増えてノイズになった。
• OpenAIの狙い：RunPod経由の100万ドル分の計算資源と、6月の若手研究者採用計画を結びつけた人材発掘の側面が大きい。

Parameter Golfとは：OpenAIの16MBモデルクラフト・チャレンジ

いまのLLMは数千億パラメータ・数百GBが当たり前ですが、Parameter Golfはその真逆を突きます。16MBという桁違いに小さい容量で、どこまで実用的な言語モデルを作れるかを問うコンペでした。順位はBPBという単一指標だけで決まり、アーキテクチャ設計・訓練手法・コーディングを一体で最適化する総合力が試されました。

16MB・10分・8×H100という3つの制約

制約は3つです。第一に、圧縮後のモデル重みと訓練スクリプトを含む全コードの合算が16MB以内。第二に、8基のH100で訓練が10分以内、評価もさらに10分以内に完了すること。第三に、評価時は外部ダウンロードやネットワーク接続が禁止で、推論に必要な重み・トークナイザ・設定・評価コードをすべて16MBのアーティファクト内に自己完結させる必要があります。この外部依存の排除は、誰の環境でも同じ結果が出る再現性を担保する狙いです。10分制限をあえて設けたのは、計算資源を無制限に積む「H100を増やせば勝てる」勝負を排し、設計そのものの巧拙で差がつくようにするためです。

16MBは16,000,000バイト（16MiBではない）という罠

公式ルールの16MBは十進法で16,000,000バイトと厳密に定義されています。コンピュータの慣習で使う16MiB（16,777,216バイト）と混同すると、その差は約77万バイト。INT8量子化されたモデルなら数万パラメータ分に相当し、この誤解のまま設計すると提出時に容量超過で失格になりえます。ベースラインのtrain_gpt.pyには、INT8量子化とzlib圧縮後のサイズを自動計測するコードが含まれており、これで最終サイズを管理するのが安全でした。

順位を決めるBPB（Bits Per Byte）とFineWeb評価

評価指標のBPBは、モデルがテキストを1バイトあたり平均何ビットで表現できるかを測る圧縮効率の指標です。値が小さいほど優秀で、上位ほど低くなります。一般的な言語モデル評価で使う交差エントロピー損失はトークン単位のため、参加者ごとに語彙サイズの異なるトークナイザを持ち込むと公平に比較できません。BPBはバイト単位で計算するためトークナイザの違いを吸収し、語彙設計そのものを競技戦略に組み込めます。評価データはFineWeb検証セットの先頭5万件のドキュメントに固定され、全参加者が同一データで比較されました。

ベースライン1.2244 BPBと提出物

OpenAIが公開したベースラインは、9層・512次元・語彙1,024・Tied Embeddings・KVヘッド4という構成で1.2244 BPBを記録しました。参加者はこれを下回ることを目指しました。提出はGitHubリポジトリ（openai/parameter-golf）のrecordsフォルダへプルリクエストを送る形式で、README.md・submission.json・訓練ログ・実行可能なtrain_gpt.py一式の4点が必須。新記録認定には既存最高記録から0.005ナット以上の改善を、p値0.01未満で複数回実行して示す統計要件がありました。

開催結果：8週間で2,000超の提出とベースライン更新

ここが、開催前に書かれた解説記事では追えない最大の情報です。OpenAIによると、約8週間の会期で1,000人を超える参加者から2,000件を超える提出が集まりました。ベースラインの1.2244 BPBは着実に更新され、コンペ期間中の確定スコアで約1.11 BPB（ベースライン比およそ9%改善、abaybektursun氏の「Self-Gen GPTQ + XSA」系）まで進み、締切直後の猶予提出を含む記録トラック最上位は約1.06 BPBに達しました。スコアは検証で変動するため、確定値は公式リーダーボードで確認してください。

上位を支えた圧縮手法の傾向

リーダーボード上位に共通したのは、単一の魔法ではなく複数手法の積み上げです。実際に上位で目立ったのは、GPTQ系や三値（-1,0,+1）などのアグレッシブな量子化、Cross-Sparse Attentionのような注意機構の疎化、深層再帰やパラメータ共有による実効深度の確保、独自トークナイザ・N-gramによる入力効率化、Muonオプティマイザと組み合わせたテスト時最適化などでした。各手法の中身は後述の「16MBに収める圧縮技術」で整理します。

コーディングエージェントが主役になった初のコンペ

OpenAI自身が総括で最も強調したのが、コーディングエージェントの存在感です。提出者の大多数が実験セットアップ・未知コードの読解・アイデア検証にエージェントを使ったと述べており、これが参入障壁を大きく下げました。ML経験の浅い参加者でも土俵に立てたわけです。半面、弊害も明確でした。強いアイデアは瞬時に広まって洗練される一方、提出の多くは上位スコアへの小さな改変にとどまり、独自の発想は限られました。さらに、ルール逸脱の提出が高スコアを出すと、別のエージェントがそれを模倣して無効な方向に進む「ノイズ」も生じています。エージェントが研究の生産性を上げると同時に、探索を均質化させる副作用を可視化した点で、Parameter Golfは単なる圧縮コンペ以上の観測データを残しました。

なぜ16MBで競うのか：Speedrun／Slowrunに連なる制約最適化

Parameter Golfは突然の新企画ではなく、研究コミュニティで評価されてきた「NanoGPT Speedrun」の姉妹チャレンジです。いずれもFineWebとH100を共通基盤に持ちながら、最適化する軸が異なります。ニューラルスケーリング則が損失Lをパラメータ数N・データ量D・訓練時間Tの関数として記述することを踏まえると、3つのチャレンジは同じ空間の別々の軸を固定していると理解できます。

Speedrunは、Andrej Karpathyが公開したGPT-2再現コードllm.cを起点に、当初45分かかった訓練を90秒以下まで短縮してきました。ただし記録更新は鈍化しており、時間軸の最適化がハードウェア限界に近づいています。パラメータ軸を固定するParameter Golfは、行き詰まった時間軸とは別方向のブレークスルー余地を開くために設計されました。訓練コードはこのllm.c／nanoGPTの系譜を引いており、Karpathyの教育的で簡潔なコード思想が反映されています。同じ低コスト・小規模LLMの流れは100ドル・4時間でChatGPTクローンを構築できるNanochatにも共通します。

16MBに収める圧縮技術の整理

16MBという制約下では、大規模モデルの常識が通用しません。何が容量を食い、何を削れるのかを押さえると、上位の勝ち筋が見えてきます。

埋め込み層が容量を食う：語彙1,024とTied Embeddings

小型モデルでは埋め込み層のパラメータが全体を支配します。埋め込みは「2×モデル次元×語彙サイズ」で増えるため、次元512で語彙50,000なら埋め込みだけで約5,120万パラメータ（FP32で約200MB）に達し、16MBでは非現実的です。ベースラインが語彙1,024を選んだのは、埋め込みを「2×512×1,024≒105万」に抑え、限られた容量を注意機構やFFNへ回すためです。語彙を小さくするとトークン列は長くなりますが、BPBはバイト単位なのでトークン数の増加自体はスコアに不利になりません。さらにTied Embeddings（入力埋め込みと出力投影の共有）で埋め込みのパラメータを実質半減でき、その分を層の増加に充てられます。

量子化：INT8ベースラインからQAT・BitNetへ

ベースラインは訓練後の重みをINT8に量子化し、zlibで無損失圧縮しています。INT8化でFP32比おおむね1/4に縮みますが、事後量子化には精度低下が伴います。そこで有効なのがQAT（量子化を意識した訓練）で、順伝播にフェイク量子化を挿し、逆伝播はStraight-Through Estimatorで勾配を通すことで、量子化に強い重み分布を学習させます。さらに極端なBitNet b1.58は重みを三値（-1,0,+1）で表し、容量あたりのパラメータ数を大きく増やせる代わりに表現力の制約が大きく、アーキテクチャの再設計が要ります。16MBでは、より低ビットで同じ容量に多くのパラメータを詰める訓練時量子化の価値が特に高まりました。量子化によるメモリ削減の発展形はAI推論のメモリ課題を根本から変えるGoogle TurboQuantでも扱われています。

深層再帰・パラメータ共有・低ランク分解

容量を増やさずに実効的な深さや表現力を稼ぐ手法群です。深層再帰（Depth Recurrence）は同一パラメータを反復適用して見かけの層数を増やし、Universal Transformer型の層間重み共有はパラメータ数を固定したまま深さを稼ぎます。ただし過度な共有は各層の独立した学習を妨げるため、共有の粒度が性能を左右します。低ランク分解は大きな重み行列を2つの小行列の積で近似し、パラメータ数を削ります。教師モデルの知識を小さな生徒モデルへ移すモデル蒸留（Model Distillation）とは目的が近く、Parameter Golfはこれらを16MBという極限まで突き詰める実験場になりました。

OpenAIの狙い：100万ドルの計算資源と若手研究者採用

Parameter Golfは純粋な研究コンペであると同時に、OpenAIの人材戦略と密接に結びついていました。参加費用の障壁を下げるため、GPUクラウドのRunPodと提携し、RunPod経由で使える100万ドル分のコンピュート・グラントを用意。8基H100で10分の訓練1回は数ドル程度ですが、ハイパーパラメータ探索を含めれば数百回規模の実行になるため、費用支援は実質的な参加促進策でした。

採用面では、OpenAIは2026年6月に少人数の若手研究者コホートを採用する計画を公表しました。対象として挙げたのは現役の学部生・最近の卒業生・数学やプログラミングのオリンピックメダリストで、博士号やML研究経験を必須としない方針です。コンペ上位者は研究者やリクルーターの目に留まり、面接機会につながりえます。参加フォームの提出はコンペ参加の必須条件ではなく、GitHubのプルリクエストだけでも参加できましたが、採用機会を得るには事実上フォーム提出が前提と見られていました。

背景にあるのは激しいAI人材の争奪戦です。MetaはOpenAIから複数のトップ研究者を引き抜いており、一部では最大3億ドル規模の報酬パッケージが提示されたと報じられています。従来の大学やカンファレンス経由の採用では届かない層に、巨額報酬の競合より先に接点を作る——研究コンペを採用パイプラインに使うこの手法は、AI業界でさらに一般化する可能性があります。

よくある質問（FAQ）

Parameter Golfとは何ですか？

OpenAIが2026年3月18日に始めた「Model Craft Challenge」で、重みと訓練コードを合わせて16MB以内・8×H100で10分以内に訓練したLLMの圧縮性能（BPB）を競う公開コンペです。開催は2026年4月30日で終了しています。

16MBはどう数えますか。16MiBとは違いますか？

公式の16MBは十進法で16,000,000バイトです。慣習的な16MiB（16,777,216バイト）とは約77万バイト異なり、混同すると容量超過で失格になりえます。圧縮後サイズは自動計測スクリプトで管理するのが安全でした。

BPB（Bits Per Byte）とは何ですか？

モデルがテキストを1バイトあたり平均何ビットで表現できるかを測る圧縮効率の指標です。値が小さいほど上位で、バイト単位のためトークナイザの違いに左右されず公平に比較できます。評価はFineWeb検証セットの先頭5万件で行われました。

最高スコアや結果はどうなりましたか？

約8週間で1,000人超・2,000件超が提出し、ベースラインの1.2244 BPBは期間中に約1.11 BPB、記録トラック最上位で約1.06 BPB前後まで更新されました。スコアは検証で変動するため、確定値は公式リーダーボードで確認してください。

いまから参加できますか？

できません。提出締切は2026年4月30日（太平洋時間）で終了済みです。ただしリポジトリの提出物やベースラインコードは公開されており、16MBモデルの設計を学ぶ教材として使えます。

関連記事

• Nanochatとは？100ドル・4時間でChatGPTクローンを構築可能なLLMプロジェクトの全貌
• RunPodとは？料金・使い方とGPUクラウドの選び方【2026年】
• AI推論のメモリ課題を根本から変えるGoogle TurboQuantの全体像
• Model Distillationとは？基本概念と機械学習における役割