--- title: "BDH（ドラゴン・ハッチリング）とは？PathwayのポストTransformer AIの仕組み・BDH-CQ・動かし方" url: "https://www.issoh.co.jp/tech/details/10406/" published: 2025-12-26 updated: 2026-11-10 categories: ["LLM・RAG"] publisher: "株式会社一創" --- # BDH（ドラゴン・ハッチリング）とは？PathwayのポストTransformer AIの仕組み・BDH-CQ・動かし方 BDH（Dragon Hatchling、ドラゴン・ハッチリング）は、米パロアルトのAI研究企業Pathwayが2025年9月30日に[arXiv:2509.26507](https://arxiv.org/abs/2509.26507)で公開した言語モデルのアーキテクチャです。Transformerの注意機構を、局所的につながったニューロンとシナプスの相互作用として書き直し、推論中に作業記憶を担うシナプスの状態が書き換わる点が特徴です（学習済みの重みが変わるわけではありません）。 2026年8月には、BDHを土台にした推論モデルBDH-CQがARC-AGI-1で29.5%を出し、話題は論文から実測値と追試の中身へ移りました。この記事は論文2本、公式リポジトリのコード、Pathwayの発表を突き合わせ、設計、公表された数値の読み方、動かす手順、本番に入れない条件を2026年11月10日時点で整理します。 ## まとめ：2026年11月時点のBDHの到達点 - BDHの重みはニューロン数nと低ランク次元dで決まる3本のn×d行列だけで、パラメータ数はほぼ`3nd`です。 - 原論文が実測した規模は25M〜800Mで、並んだ相手はGPT-2構成にTransformerXL方式の状態持ち回りを足した「GPTXL」です。 - BDH-CQは150Mパラメータで、ARC-AGI-1の公開評価400問をpass@2で118問（29.5%）解きました。0.0007ドルは「0.85 H200 GPU秒×1時間3ドル」の計算値です。 - 公表された追試は、Pathwayの出資者・アドバイザーに名を連ねるŁukasz Kaiser氏と、BDH-CQ論文の共著者2名によるものです。BDH-CQの次元と更新則は非公開です。 - 公式リポジトリはMITライセンスですが、2026年11月6日のREADME改訂で「玩具の例で、継続学習も公表済みの成果も再現しない」と明記されました。学習済み重みもありません。 - BDHがTransformerより省メモリかは比較条件によります。原論文は大きな固定サイズの再帰状態を持つと説明しており、その大小は比較モデルと入力長に依存します。 ## BDHの定義と開発元Pathway 著者はAdrian Kosowski、Przemysław Uznański、Jan Chorowski、Zuzanna Stamirowska、Michał Bartoszkiewiczの5名で、全員がPathwayの所属です。論文タイトルは「The Dragon Hatchling: The Missing Link between the Transformer and Models of the Brain」。BDHを、テンソル計算で書かれたTransformerと脳の分散グラフモデルをつなぐ「欠けた環」と位置づけています。生物の模倣が目的ではなく、注意機構をニューロン同士の局所的なやり取りとして閉じた形で書けることを示した点が主張の中心です。 論文にはグラフとして定義したBDHと、GPUで回せるようテンソル形式に直したBDH-GPUの2つが出てきます。実験と公開コードで扱われるのは後者なので、以降の設計と実装の話はBDH-GPUを指します。arXivの版は2026年11月10日時点でも2025年9月30日のv1だけです。 ### 名称「Hatchling」の意味と消えた「Baby」 Hatchlingは、卵からかえったばかりの爬虫類や鳥の幼体を指す英語です。略称BDHのBが何かを論文は説明していません。海外報道で広まった「Baby Dragon Hatchling」という呼び方は論文本文に1回も出てこず、Pathwayは2026年5月12日のコミットで公式READMEから「Baby」を削りました。現在の公式表記は「Dragon Hatchling (BDH)」です。 ### Pathwayの体制と資金・計算基盤 PathwayはCEOのZuzanna Stamirowska、元Google BrainのCTO Jan Chorowski、CSOのAdrian Kosowskiが率いています。2026年8月11日には[評価額5億ドルでの追加調達](https://pathway.com/blog/pathway-strikes-a-500m-valuation)を発表し、シード段階の累計は3,000万ドルになりました。資金は主に計算能力の増強（NVIDIA GB300の追加を含む）に充てるとしています。学習基盤はAWSで、[AWSの2026年9月8日の技術ブログ](https://aws.amazon.com/blogs/machine-learning/pathways-brain-inspired-architecture-development-on-amazon-sagemaker-hyperpod/)によるとAmazon SageMaker HyperPod上のp5en.48xlarge（NVIDIA H200搭載）で開発しています。 ## BDHの仕組み：nとdで決まる3ndの設計とシナプス状態 BDH-GPUはTransformerより部品が少なく、「大きいほうの次元nに全部を寄せる」設計です。 ### nだけを伸ばすスケーリングとパラメータ式3nd BDH-GPUは、ニューロン空間の次元nと、低ランクなシナプス次元d（d≪n）の2つで決まります。重みはE、Dx、Dyという3本のn×d行列にほぼ全て収まり、パラメータ数は`(3+o(1))nd`です。論文は25M規模の設定例としてd=256、n=32768を挙げており、1ニューロンが3d=768個の値を持つ計算になります。層はUniversal Transformerと同様に全層で重みを共有します（実験は8層、公開実装の既定は6層）。ヘッドはn次元を分けてパラメータを持たないLayerNormを掛けるだけで、学習パラメータを持ちません。 ### 状態ρの大きさとコンテキスト長の扱い 各層はρという状態行列を持ち、大きさはn×dと重み行列と同じです。状態空間モデルなので、論文はコンテキスト長に「ハードな上限が無い」と書いています。ただしρが保持できる事実の数は漸近的にnのオーダーで、無制限に覚えられるわけではありません。 この設計が省メモリになるかは比較条件によります。論文は、BDH-GPUが総パラメータ数に匹敵する大きさの固定再帰状態を持つと説明しています。入力が短いうちはKVキャッシュより大きくなりえる量で、差が出るのは入力が長くなったときです。KVキャッシュの削減が目的なら、[グループ化クエリアテンションとは？GQAの仕組みとKVキャッシュ削減・実装判断を解説](/tech/details/16067/)で扱う手法のほうが直接効きます。推論時の演算量について論文が示すのは、1トークンあたり`O(ndL)`という理論上の上限までで、レイテンシやスループットの実測比較はありません。 ### ヘブ則で書き換わるシナプスと約5%の疎な活性 BDHの作業記憶は外付けのメモリではなく、シナプスの可塑性に宿ります。同時に発火したニューロン同士の結合をヘブ則で強める更新が、推論のたびに走ります。書き換わるのは学習済み重みではなく、推論セッション内の状態ρです。 活性化はReLUを通るので全要素が非負で、学習が進むと急速に疎になります。論文は典型的な学習で非ゼロ要素がおよそ5%と報告しました。合成タスクでは、事実を覚え込む局面で非ゼロ4.0〜7.5%、同じ文字列を繰り返すだけの局面では約2.5%まで落ちます。予測しやすい入力ではニューロンが黙るということです。注意側を疎にする近い話題は[スパースアテンションとは？疎なAttentionの仕組みとNSA・DSAの実装判断を解説](/tech/details/16057/)で整理しています。 ### 学習は逆伝播頼み：推論と学習で分かれる生物学的な妥当性 「脳に近い」のは推論時の仕組みで、学習はそうではありません。論文の実験は全モデルを2048文字の系列で切り詰めた時間方向の逆伝播（truncated BPTT）で学習しています。論文7.2節は時間方向の逆伝播を外す予備実験も載せており、言語モデルとしての能力は一部残ったものの、翻訳で言語間の概念を対応づける力は失われました。英語の損失は約0.65から0.75〜1.05へ悪化しています。脳のような局所学習則だけで学習できるモデルではない、という点は押さえておく必要があります。 ## Transformerとの違い：共通する注意機構と状態の置き場所 BDHはTransformerを否定していません。注意に基づく系列処理という骨格は共有し、注意を行列演算で組む代わりに、ニューロン間の局所的な重みづけから生じさせます。 | 観点 | Transformer（GPT-2系） | BDH-GPU | | ------- | ------------------- | ------------ | | 主な重み行列 | Q・K・V・出力・MLP | E・Dx・Dyの3本 | | 規模を伸ばす軸 | 層数と埋め込み次元 | ニューロン数n | | 層間の重み | 層ごとに別 | 全層で共有 | | 推論時の状態 | KVキャッシュ（トークン数に比例） | ρ（n×d×層数で一定） | | コンテキスト長 | 上限あり | ハードな上限なし | | 注意 | ソフトマックス | 線形（高次元で実行） | | 活性化 | 正負の実数 | 非負・約5%が非ゼロ | Transformer側の前提は[Transformerとは？自己注意の仕組みとBERT・GPTの違いを実装目線で解説](/tech/details/13446/)、ニューロンと活性化関数の基本は[ニューラルネットワークとは？仕組み・種類・PyTorch実装まで実装目線で解説](/tech/details/13428/)で確認できます。 ## 原論文の実験：GPT-2系との比較・概念シナプス・モデル連結 ### Europarl翻訳での25M〜800M比較 規模を変える実験は、欧州議会議事録の対訳コーパスEuroparlを使った英語とポーランド語・チェコ語の翻訳兼言語モデリングです。全モデルがUTF-8のバイト列を読み、合計1.2Bトークン（約3エポック）を学習しました。ベースラインはnanoGPTのGPT-2構成に、直前4096件のKVキャッシュを持ち回るTransformerXL方式とALiBiを加えた「GPTXL」で、25M〜800Mの6サイズです。 BDH側は8層・d=256のまま、nを32,768から1,048,576まで倍々にして同じ規模をそろえました。全サイズでGPTXLに並んだのは、xLSTM風のゲートを足し全層の次トークン予測をまとめた拡張版BDH-GPU′です。素のBDH-GPUについて論文は「おおむね遜色ない（generally compares favorably）」と書くにとどめています。要旨の「10M〜1B」はこの実測より広い丸めなので、「BDHはGPT-2と同等」と引くときは「TransformerXL相当に強化したGPT-2構成に、拡張版が25M〜800Mで並んだ」と読むのが正確です。 ### 通貨シナプスの検定と言語をまたぐ一致 論文はρからニューロン間の結合を表すn×nのシナプス行列σを復元し、通貨名や国名が出たときだけ値が上がるシナプスを特定しました。同じシナプスが英語の「British Pound」でもフランス語の「livre sterling」でも反応します。通貨に触れる50文と触れない50文で片側マン・ホイットニーのU検定を行い、U=2368（最大2500）、p<10のマイナス14乗、順位双列相関0.86でした。対象はd=256、n=49152、4ヘッド、8層のモデルです。 ### 19Mモデル2本を38Mへ連結したときの利得と劣化 英西で学習した19M（n=24576）のモデルを複製し、片方を英仏、もう片方を英葡で追加学習してから、nの軸方向に連結して38M（n=49152）にしました。追加学習なしでも、西・仏・葡から英語への翻訳損失は0.43／0.40／0.39とそろいました。逆方向は崩れ、英語から各言語への損失は1.45／0.77／0.86で、生成文に3言語が混ざります。モデルを部品として足せる可能性と、それが無条件には成り立たないことを同時に示した結果です。 ## Pathwayが公表した推論ベンチマーク：Sudoku ExtremeとBDH-CQ BDHの名前で出回る数値は、原論文・Sudoku・BDH-CQの3系統に分かれ、どれも公開リポジトリのコードでは再現できません。 ### Sudoku Extremeの正答率97.4%（2026年3月・社内実装） 2026年3月17日、Pathwayは[Sudoku Extremeの約25万問で正答率97.4%](https://pathway.com/research/beyond-transformers-sudoku-bench)を出したと公表しました。思考の連鎖もバックトラッキングも外部ツールも使わない条件です。比較に挙がったo3-mini、DeepSeek R1、Claude 3.7のほぼ0%は、Pathwayが別論文（arXiv:2506.21734）から引いた数値です。公式READMEはこの結果を「社内のBDH実装による」と書いています。 ### BDH-CQの仕組み：再帰メモリと潜在ワークスペース BDH-CQは2026年8月10日提出の技術報告[arXiv:2608.09888](https://arxiv.org/abs/2608.09888)で説明された、BDHを土台にした推論システムです。動きは2段に分かれます。まず例題（入力と出力の組）を1つずつ読み込み、そのたびに再帰メモリStを更新します。KVキャッシュのように読み込んだ分だけ伸びる記憶は持ちません。次に問題の入力をこのメモリと合わせて潜在ワークスペースHrへ写し、そこで反復計算をR回回してから答えを出します。途中の推論を文章として書き出さない点が、思考の連鎖を使うLLMとの違いです。 ただし論文3.3節は、次元・正確な更新則・実装の詳細を「proprietary（非公開）」としています。評価対象のシステムには入力変換、候補の生成と順位づけといった処理も含まれるため、BDHのアーキテクチャ単体の力を測った数値とは言えません。潜在空間で反復して推論する発想は、[OpenMythosとは？Claude Mythosの構造を推測したオープンソース実装の仕組みと使い方](/tech/details/12042/)で扱う反復深度型と近い位置にあります。 ### 29.5%・0.0007ドルの算定条件 学習データは非公開の独自データに、ARC-AGI-1の訓練セット、RE-ARC、ConceptARC、ARC-Heavy、ARC-GEN100Kを混ぜたものです。評価はARC-AGI-1の公開評価セット400問で、結果は次のとおりです。 | 指標 | 値 | | --------------------- | --------------- | | pass@1 | 97問（24.25%） | | pass@2 | 118問（29.50%） | | pass@2の95% Wilson信頼区間 | 25.24〜34.15% | | 1問あたりの計算量 | 約0.85 H200 GPU秒 | | 費用の換算単価 | H200 1時間3ドル | | 1問あたりの費用 | 0.00070ドル | 比較は条件がそろっていません。BDH-CQの費用は実測したGPU時間からの計算値で、比較相手はARC Prizeのリーダーボードに報告された費用です。論文自身が、相手の値はハードウェアの見積もりかAPI価格の可能性があると断っています。最も近い相手のGPT 5.6 Luna（Low）は34.2%・0.040ドルで約57倍の差ですが、OpenAIが2026年7月30日に行った80%値下げを反映すると約11倍に縮みます。正答率ではBDH-CQのほうが4.7ポイント低い点も見落とせません。 ### 推論の深さで変わる正答率とConceptARCの得手不得手 BDH-CQは推論時に潜在推論の量を3段階で選べます。論文の表5では、HIGHが29.5%、MEDIUMが27%（費用11%減）、LOWが21%（費用22%減）でした。費用を2割削ると正答率が8.5ポイント落ちる関係です。 概念ごとの得手不得手はConceptARC（16系統×10問）で測られています。境界まで伸ばす「ExtendToBoundary」、塗りの有無を見る「FilledNotFilled」、上下の関係を扱う「TopBottom2D」は10問中9問を解いた一方、「Copy」と「Order」は2問でした。Copyは個々の入力では30中19で正解しても、1問の3入力すべてで一貫して正解できたのは2問です。1系統10問の小さな標本なので、論文も順位づけではなく傾向として読むよう書いています。 ### 追試者の顔ぶれと「1B〜600B」の公開範囲 Pathwayの[2026年8月11日の発表](https://pathway.com/blog/pathway-150m-model-breaks-arc-agi-1-cost-efficiency-frontier)は、Transformer論文の共著者Łukasz Kaiser氏が結果を再現したと紹介しています。同じ発表の末尾には、Pathwayを支える出資者・アドバイザーの1人としてKaiser氏の名前があります。論文が「独立したブラックボックス監査」と呼ぶ再現も、実施したのはBielikとNYUに所属する共著者（Remigiusz Kinas氏、Richard Zhong氏）です。論文は、重みにアクセスしない手順で29.5%が再現されたと報告しています。ただし、利害関係の無い第三者の検証ではありません。 同じ発表と論文9.2節は、1B〜600Bパラメータの事前学習でTransformerと同様のスケーリング則を「初期実験で確認した」と述べています。損失の曲線や比較対象の数値は載っておらず、検証できる材料は出ていません。次の目標にはBDH-CQ自体の大規模化、ARC-AGI-2とARC-AGI-3、数学推論、潜在推論型の大規模言語モデルが挙がっています。ARC風の課題を生成する[arc-task-gen](https://github.com/pathwaycom/arc-task-gen)は2026年8月にMITライセンスで公開されましたが、BDH-CQのモデル本体は公開されていません。 ## 公式実装で動かす：pathwaycom/bdhのインストールと既定設定 公式リポジトリは[github.com/pathwaycom/bdh](https://github.com/pathwaycom/bdh)で、ライセンスはMIT、2026年11月10日時点のスター数は3,580です。中身は`bdh.py`（5,051バイト）と`train.py`（3,670バイト）だけで、Andrej Karpathy氏のnanoGPTとtiny Shakespeareを土台にした文字レベル言語モデルのデモです。 ### インストール手順とPyTorch 2.5以上の指定 ``` git clone https://github.com/pathwaycom/bdh.git cd bdh pip install "torch>=2.5" numpy requests python train.py ``` READMEの手順は`pip install -r requirements.txt`ですが、`requirements.txt`はtorch・numpy・requestsの3行で版の指定がありません。`bdh.py`は`torch.nn.Buffer`を使っており、これはPyTorch 2.5.0で入ったクラスです（v2.4.0の`torch/nn/parameter.py`には無い）。古いtorchが入った環境では`AttributeError: module 'torch.nn' has no attribute 'Buffer'`で止まるため、上のように版を指定して入れてください。`train.py`はCUDAが無ければCPUで動きますが、既定の`MAX_ITERS=3000`・`BATCH_SIZE=32`・`BLOCK_SIZE=512`は約4,900万トークンを流すGPU前提の値です。挙動を見るだけなら`MAX_ITERS`を下げます。 ### 既定設定n=32768・d=256と25,296,896パラメータの内訳 既定の`BDHConfig`はn\_layer=6、n\_embd=256、n\_head=4、mlp\_internal\_dim\_multiplier=128、vocab\_size=256、dropout=0.1です。ヘッドあたりのニューロン数は128×256÷4=8192、4ヘッドで32,768。n÷d＝32768÷256＝128がちょうど`mlp_internal_dim_multiplier`に当たり、論文が25M規模の例に挙げたd=256・n=32768と一致します。パラメータを数えた結果が次です。 ``` N per head = 8192 | total neurons n = 32768 decoder (32768, 256) 8,388,608 encoder (4, 256, 8192) 8,388,608 encoder_v (4, 256, 8192) 8,388,608 lm_head (256, 256) 65,536 embed.weight (256, 256) 65,536 TOTAL PARAMS: 25,296,896 3*n*d = 25,165,824 ``` 3本のn×d行列で25,165,824、埋め込みと出力ヘッドの65,536ずつを足して25,296,896です。`forward`は同じ`self.encoder`と`self.decoder`を6層分のループで使い回しており、層間の重み共有がコードで確認できます。 ``` for level in range(C.n_layer): x_latent = x @ self.encoder x_sparse = F.relu(x_latent) # B, nh, T, N yKV = self.attn(Q=x_sparse, K=x_sparse, V=x) yKV = self.ln(yKV) y_latent = yKV @ self.encoder_v y_sparse = F.relu(y_latent) xy_sparse = x_sparse * y_sparse # B, nh, T, N xy_sparse = self.drop(xy_sparse) yMLP = ( xy_sparse.transpose(1, 2).reshape(B, 1, T, N * nh) @ self.decoder ) # B, 1, T, D y = self.ln(yMLP) x = self.ln(x + y) ``` ### 公式リポジトリで再現できない範囲（2026年11月のREADME改訂） 2026年11月6日の改訂でREADMEは、このコードを「玩具の例」とし、推論中に継続学習する様子も、Pathwayが公表した成果も再現しないと明記しました。研究に使ったシステムと学習済みチェックポイントは含まれず、GitHubのリリースとタグも0件です。 コードの中身もそれに沿っています。`Attention.forward`はT×Tのスコア行列を対角を除く下三角でマスクする並列版で、状態ρを持ち回る再帰実行はありません。`generate`は1トークンごとに全プレフィックスを渡し直すため、生成が長くなるほど再計算の負担が増えます。ただし、KVキャッシュを持つTransformerとの実行時間の大小は、モデル構成と実行環境をそろえた測定が必要です。READMEにはBurnへの移植、MLXへの移植など5件のコミュニティ実装が載っています。移植に加え、動的語彙や状態付き注意への拡張も紹介されており、公式実装と同じ仕様とは限りません。 ## 採用判断：BDHを本番に入れない条件と試す価値がある用途 2026年11月時点で、本番のTransformerをBDHへ置き換える判断は勧めません。理由は次の4点です。 - 公開コードで再現できるのはtiny Shakespeareの文字レベル生成までで、SudokuとARC-AGI-1の数値は非公開の別システムの結果です。 - 学習済み重みが無く、評価には事前学習を自前で回す必要があります。 - 公表された追試は出資者と論文共著者によるもので、利害関係の無い第三者の検証はまだありません。 - 1B以上の規模の結果は「初期実験で確認した」という記述だけで、数値が出ていません。 いま手を動かす価値があるのは、目的がはっきりした検証です。1つは解釈可能性の研究で、概念に対応するシナプスを統計的に特定できる性質は、既存のLLMでは得にくい観測点になります。もう1つは少ないデータでの学習で、論文はデータ1トークンあたりの損失の下がり方がTransformerより速い傾向を報告しています。どちらも数千万パラメータ規模の公開コードで試せる範囲です。生成AIを業務に入れる段階なら、BDHではなく実績のあるモデルを前提に[生成AI導入支援](/service/ai/genai/)などを通じて、精度・費用・運用条件を要件から整理する進め方を勧めます。 判断を見直すきっかけは、1B以上の損失曲線の公開、BDH-CQの重みか詳細の公開、利害関係の無い機関による再現の3つです。どれかが出るまでは、検証環境での評価にとどめるのが妥当です。 ## よくある質問 ### BDHは何の略ですか？ 論文はアーキテクチャ名を「Dragon Hatchling」とし、略称をBDHとしていますが、Bの意味は説明していません。「Baby Dragon Hatchling」は海外報道で広まった呼び方で、論文本文には出てこず、Pathwayも2026年5月に公式READMEから削除しました。日本語では「ドラゴン・ハッチリング」「ドラゴンハッチリング」と書かれます。 ### BDHは汎用LLMより高性能ですか？ 汎用の言語性能で上回るという結果は出ていません。原論文の比較相手は25M〜800MのGPT-2系です。ARC-AGI-1でもBDH-CQの29.5%はGPT 5.6 Luna（Low）の34.2%を下回り、勝っているのは1問あたりの費用です。Sudoku Extremeの97.4%も、パズル用に作った社内実装の結果です。 ### BDHはTransformerより省メモリですか？ 比較条件によります。原論文は、状態ρが総パラメータ数に匹敵する大きさだと書いています。違いは増え方で、ρはn×d×層数で一定なので、入力が長くなっても状態の大きさは変わりません。短い入力ではKVキャッシュのほうが軽く、入力が長くなるほど差が縮まる、という読み方が実態に合います。 ### BDHを商用利用できますか？学習済みモデルはありますか？ 公式リポジトリのコードはMITライセンスで、商用利用も改変もできます。コードのコピーや実質的な部分を配布する際は、著作権表示と許諾表示を含める必要があります。ただし学習済みモデルは配布されておらず、Hugging Face上のpathwaycom名義の配布物もありません。BDH-CQの重みと詳細は非公開です。 ### 「BDH」にAI以外の意味はありますか？ あります。医療・生化学ではヒト遺伝子BDH1（3-hydroxybutyrate dehydrogenase 1、NCBI Gene ID 622）の別名、試薬では1908年創業のBritish Drug Housesに由来し現在はAvantorが扱うブランド名です。国内の検索では札幌市東区の遊技店「BIG大王東店」の略称としても使われています。この記事が扱うのは言語モデルのアーキテクチャとしてのBDHです。 ## 関連記事 - [Transformerとは？自己注意の仕組みとBERT・GPTの違いを実装目線で解説](/tech/details/13446/) - [スパースアテンションとは？疎なAttentionの仕組みとNSA・DSAの実装判断を解説](/tech/details/16057/) - [グループ化クエリアテンションとは？GQAの仕組みとKVキャッシュ削減・実装判断を解説](/tech/details/16067/) - [OpenMythosとは？Claude Mythosの構造を推測したオープンソース実装の仕組みと使い方](/tech/details/12042/) - [ニューラルネットワークとは？仕組み・種類・PyTorch実装まで実装目線で解説](/tech/details/13428/) --- 出典: [BDH（ドラゴン・ハッチリング）とは？PathwayのポストTransformer AIの仕組み・BDH-CQ・動かし方]()（株式会社一創）