--- title: "ハイパーパラメータ探索とは？手法の選び方と打ち切り設計を実装目線で解説" url: "https://www.issoh.co.jp/tech/details/16351/" published: 2026-08-09 updated: 2026-10-21 categories: ["AI"] publisher: "株式会社一創" --- # ハイパーパラメータ探索とは？手法の選び方と打ち切り設計を実装目線で解説 scikit-learn 1.9系に入っている逐次半減法の2推定器は、2026年8月時点でも experimental のままです。使うには `enable_halving_search_cv` を明示的にインポートする必要があり、予測とAPIは非推奨化の手順なしに変わりうると公式ドキュメントが宣言しています。ハイパーパラメータ探索は、手法の理屈より先にこうした足場の制約が効いてくる工程です。この記事では、学習前に人が決める値という定義から、グリッドサーチ・ランダムサーチ・ベイズ探索の効率差、試行予算の逆算、検証成績が甘くなる仕組み、そして探索を見送る条件までを実装目線でまとめます。 ## まとめ：ハイパーパラメータ探索の定義と、着手前に決める3つの値 ハイパーパラメータ探索とは、学習アルゴリズムの挙動を決める設定値（学習率、木の深さ、正則化の強さなど）を、検証成績を手がかりに複数試して選び直す工程です。モデルの重みが学習データから自動で決まるのに対し、この種の値は学習が始まる前に人が与えます。だから探索の対象になる。 着手前に決める値は3つあります。探索するパラメータの本数と範囲、試行1回あたりの学習時間から逆算した試行回数、そして成績が伸びなくなったときに止める打ち切り条件です。この3つを決めずに走らせると、GPUの時間だけが溶けます。手法の選択はその後でよく、探索空間が小さければグリッドサーチ、パラメータが5本を超えるならランダムサーチかベイズ探索、というのが実務での分かれ目です。 そして、探索は精度を伸ばす手段のなかで優先度が高いほうではありません。特徴量の作り直しや学習データの追加のほうが効く場面が多く、探索で得られる伸びは既定値から数ポイント以内に収まることが珍しくない。順序を間違えると、費用に見合わない工程に時間を吸われます。 ## ハイパーパラメータ探索の定義と、学習で決まるパラメータとの境界線 用語が指す範囲を先に固定します。ここを曖昧にしたまま議論すると、推論時の設定まで混ざって話が噛み合いません。 ### 学習前に人が決める値と、勾配降下で更新される重みの具体的な区別 ニューラルネットワークの重みやバイアスは、損失を下げる方向へ勾配降下が自動で更新します。学習データが増えれば値も変わる。これがパラメータです。いっぽう学習率、バッチサイズ、エポック数、正則化係数、決定木の最大深さ、勾配ブースティングの木の本数は、学習ループが回り始める前に人が与える必要があります。こちらがハイパーパラメータ。 境界の見分け方は単純で、「その値を変えると学習をやり直すことになるか」で切れます。学習率を変えれば最初から回し直し。木の深さを変えても同じです。損失関数の種類や評価指標の選択も、この意味では同じ扱いになります。 ### 探索が効いた場面と、既定値のままで十分な場面を分ける判断基準 勾配ブースティング木は既定値と調整後で成績が動きやすい部類です。学習率を下げて木の本数を増やす、葉の数と最小サンプル数で過剰な分割を抑える、といった調整が検証成績に素直に反映されます。逆に、ランダムフォレストは既定値のままでも大きく崩れにくく、木の本数を増やす以外の調整で得られる伸びは小さい。 判断の基準はデータ量です。学習データが数千行しかない段階で探索に入ると、後述する検証成績の甘さのほうが先に効いてしまい、選ばれた値が本番で再現しません。目安として、検証分割ごとの成績のばらつき（標準偏差）が、探索で得たい改善幅より大きいなら、探索の前にデータを増やすほうが先です。 ### 推論時のtemperature等との違いと、本記事が扱う範囲の切り分け 生成AIを扱っていると、temperature や top\_p を「ハイパーパラメータ」と呼ぶ場面に出会います。これらは学習済みモデルへリクエストを出すたびに指定する値で、学習をやり直す必要がありません。工程が別です。推論側の設定については[推論パラメータの決め方と推論モデルでの非対応](https://www.issoh.co.jp/tech/details/16065/)にまとめてあります。 本記事が扱うのは学習前に決める値のほうです。ファインチューニングの学習率やLoRAのランクは学習をやり直す側なので、こちらに含まれます。 ## グリッドサーチ・ランダムサーチ・ベイズ探索という三手法の効率差 探索手法は大きく3系統。総当たり、無作為抽出、そして過去の試行から次を推定する系統です。効率の差は探索空間の大きさで決まります。 ### 全組み合わせを試すグリッドサーチが破綻する探索空間の規模感と見極め グリッドサーチは、指定した候補値の全組み合わせを試します。パラメータ3本にそれぞれ5候補なら125通り。5本なら3,125通りで、1試行が3分かかるなら156時間です。組み合わせ数はパラメータ本数に対して指数で増えるため、実務で使えるのはパラメータ2〜3本かつ候補が少ない場合に限られます。 もうひとつの弱点は、成績に効かないパラメータを1本足しただけで試行数が候補数の倍だけ膨らむこと。scikit-learn の公式ドキュメントは、ランダム探索の利点としてこの裏返しを挙げています。予算をパラメータ数と候補数から独立に決められること、そして性能に効かないパラメータを追加しても効率が落ちないこと。この2点です。 ### ランダムサーチが少ない試行でも当たる理由と、試行回数の決め方 ランダムサーチは、指定した分布から値を抽出して試行回数ぶんだけ試します。効くパラメータが少数に偏っているとき、無作為に振ったほうが「効くパラメータの良い値」に早く当たる。グリッドは効かないパラメータの格子点にも律儀に予算を配ってしまうためです。 試行回数は、上位何％に入れば満足かで逆算します。上位5％の領域に少なくとも1回入る確率を95％にしたいなら、必要な試行はおよそ60回。上位10％で足りるならおよそ30回です。この数字は探索空間の広さに依存しないので、予算の初期値として使えます。実務では30〜60回を第一弾に置き、成績の分布を見てから範囲を絞って第二弾を回す進め方が扱いやすい。 ### ベイズ探索（TPE）が効く条件と、効きにくい小規模な探索空間 ベイズ探索は、これまでの試行結果から「次に試すと良さそうな点」を推定して選びます。Optuna が既定で使う TPE は、成績の良かった試行群と悪かった試行群それぞれの分布を推定し、良い側の密度が高く悪い側の密度が低い点を優先する仕組みです。CMA-ES も選べます。 効く条件は、1試行が高価で（数分以上）、探索空間が連続値を含み、試行回数を数十回は確保できること。逆に、1試行が数秒で終わる小さなモデルや、候補が離散10通りしかないような空間では、推定にかかる手間のほうが目立ちます。試行回数が10回に満たない段階では、TPE も初期は無作為に振るため、ランダムサーチと結果が変わりません。 ### Successive Halving・Hyperbandで試行を打ち切る設計 逐次半減法（Successive Halving）は、多数の候補に少ない資源を配って走らせ、成績下位を切り捨てながら残った候補へ資源を集める方式です。資源とは学習に使うサンプル数やエポック数、木の本数を指します。scikit-learn の公式ドキュメントにある例（`factor` を2、候補70、初期資源3）では、次のように絞られます。 | 反復 | 投入する資源 | 残る候補数 | | -- | ------ | ----- | | 0 | 3 | 70 | | 1 | 6 | 35 | | 2 | 12 | 17 | | 3 | 24 | 8 | | 4 | 48 | 4 | | 5 | 96 | 2 | 残り候補が `factor` 以下になった時点で停止します。`factor` は3が概ね機能すると公式ドキュメントが述べています。Hyperband は初期資源の置き方を複数パターン並走させ、「早く見切りすぎる」失敗を緩和した派生。Optuna の枝刈りも同じ考え方で、途中経過の指標を各ステップで報告させ、見込みの薄い試行をその場で止めます。学習が長いモデルほど、この打ち切りの有無で総時間が数倍変わります。 ## 探索対象パラメータの絞り込みと、範囲・分布・試行予算の決め方 手法より結果を左右するのが、何を何の範囲で振るかの設計です。ここが雑だと、どの手法でも同じように外れます。 ### 勾配ブースティング木で先に動かすべきパラメータ4つの優先順位 LightGBM や XGBoost を触るなら、順序があります。第一に学習率と木の本数（この2つは対で動かす）。第二に木の複雑さを決める値、LightGBM なら葉の数、XGBoost なら最大深さ。第三にサンプリング比率（行と列のサブサンプル）。第四に正則化係数です。 第一と第二で得られる改善が全体の大半を占め、第四まで回して伸びるのはわずかです。10本以上のパラメータを同時に振る構成をよく見かけますが、試行予算が同じなら、効くパラメータ4本に絞ったほうが良い値に届きます。振る本数を減らすことは、探索の質を落とす行為ではありません。 ### 学習率を対数スケールで刻む範囲設定と、離散値を渡す際の注意点 学習率や正則化係数のように桁で効く値は、対数スケールで振ります。0.001から0.1を等間隔で刻むと、大半の候補が0.05以上に集まってしまい、小さい側がほとんど試されない。Optuna なら `suggest_float` に `log=True` を渡す形です。 整数のパラメータには刻み幅を指定します。木の本数を1本刻みで探索しても、100本と101本の差は雑音に埋もれます。50刻みで十分。範囲の端で最良値が出た場合は、範囲の外側に良い領域が残っているサインなので、範囲を広げて回し直します。端に張り付いたまま採用するのが、探索でいちばん多い取りこぼしです。 ### 試行予算をGPU時間から逆算する見積もり手順と打ち切りの併用 予算は次の順で出します。まず1試行の学習時間を実測。次に許容する総時間（たとえば一晩＝10時間）を決め、並列度で割る。GPUが1枚で1試行8分なら、10時間で75試行です。交差検証を5分割にするなら1試行が5倍になるので15試行しか回せません。ここで初めて、分割数を3に落とすか、逐次半減法で下位を早く切るかの判断が立ちます。 実務では、第一弾で広く30試行、上位の値域へ範囲を狭めて第二弾で30試行、という二段構えが扱いやすい構成です。総時間は同じでも、後半の試行密度が上がります。 ## 交差検証の分け方と、検証データへ過剰に合わせてしまう失敗の回避 探索の成否は評価の設計で決まります。ここが崩れていると、検証成績だけが上がって本番で落ちるモデルが選ばれます。 ### 時系列データに通常のK分割を使うと検証成績が水増しされる理由 売上予測や需要予測で通常のK分割交差検証を使うと、未来のデータで学習して過去を当てる分割が混ざります。実運用では起こりえない条件なので、成績は実力より高く出る。時系列では、学習期間より後ろの期間を検証に使う分割（前進検証）に切り替えます。 同じ問題は、同一ユーザーや同一機器から複数行が出るデータでも起きます。同じ個体のレコードが学習側と検証側に分かれて入ると、個体の癖を覚えただけで当たってしまう。グループ単位で分割する方式に変えるのが定石です。 ### 試行数を増やすほど検証成績が甘くなる現象と、最終評価の切り離し 同じ検証データで100通り試し、いちばん良かった値を採用する。この手続きは、検証データに対する選択のバイアスを持ち込みます。100回引けば、たまたま良い目が出た試行が混ざるからです。試行数が増えるほど、選ばれた値の検証成績は実力より高く出ます。 回避策は評価の分離です。探索は学習データ内の交差検証だけで完結させ、探索に一度も使っていないテストデータで最終確認する。ここで検証成績とテスト成績が大きく開いたら、探索が検証データへ寄りすぎた合図なので、試行数を減らすか範囲を狭めます。実務での目安として、両者の差が検証分割間のばらつきを超えたら要注意です。 ### 探索結果を再現するための乱数種・環境・データ版という記録項目 採用した値だけを残しても、半年後に同じ成績は出ません。乱数種、ライブラリの版、学習データのスナップショット、交差検証の分割方法、評価指標の定義。この5点が揃って初めて再現できます。探索は試行数が多いぶん、手作業の記録が破綻しやすい工程です。 試行ごとのパラメータと成績を自動で残す仕組みは、[実験管理の記録項目とrun設計](https://www.issoh.co.jp/tech/details/16340/)で整理した枠組みがそのまま使えます。Optuna は RDB をストレージに指定すれば試行履歴を保存し、中断した探索の再開と複数ジョブからの並列実行にも対応します。 ## 探索に時間を注ぐ前に、特徴量とデータ量を疑うべき判断の優先順序 ここが本記事の主張です。探索は費用対効果の面で優先度が高い工程ではありません。順序を言い切ります。 ### 探索で伸びる精度幅の相場観と、特徴量の追加で伸びる幅との比較 表形式データの分類・回帰で、既定値から丁寧に探索して得られる改善は、指標にもよりますが数ポイント以内に収まる場面が多い。いっぽう、業務知識から効く特徴量を1本足したときの改善は、それを上回ることが珍しくありません。日付から曜日と祝日フラグを作る、金額を対数変換する、直近30日の集計を足す。この種の作業のほうが、探索を10時間回すより効きます。 特徴量側の工程は[特徴量エンジニアリングの変換・選択・自動化](https://www.issoh.co.jp/tech/details/15843/)にまとめてあります。探索に着手する前に、ここで打てる手が残っていないかを先に確認してください。 ### 探索を見送るべき3条件（データ不足・評価不安定・既定値優位） 次の3つに当てはまるなら、探索は見送ってよい工程です。第一に、学習データが数千行に満たない場合。検証分割ごとのばらつきが探索で得たい改善幅を上回り、選んだ値が雑音に対する後付けになります。第二に、評価指標が定まっていない場合。何を上げるか決まっていないのに探索を回すのは、行き先を決めずに走るのと同じです。第三に、ランダムフォレストのように既定値が堅い手法で、精度要件をすでに満たしている場合。 逆に、探索を必ず入れるべき場面もはっきりしています。勾配ブースティング木で数万行以上のデータを扱い、精度要件まであと少し届かないとき。ここは学習率と木の本数の対を詰めるだけで届くことがあります。 ### 受託開発の現場で探索を打ち切る時間基準と、引き渡し物の線引き 受託の案件では、探索に充てる時間をあらかじめ切ります。目安は、モデル構築工数全体の1割から2割。それを超えて伸びない場合、原因は探索側ではなくデータ側にあると判断して工程を戻します。無限に回せば良くなる工程ではないため、止める基準を先に合意しておくほうが健全です。 引き渡し物の線引きも先に決めます。「決まった値」だけを納品すると、データが更新されたときに顧客側で再探索できません。探索スクリプトと探索空間の定義、試行履歴のストレージ、再実行の手順書までを含めるのが実務的な範囲です。[機械学習モデル開発の受託](https://www.issoh.co.jp/service/ai/machine-learning/)では、この探索と再現の設計まで含めた形で構築を請けています。 ## Optuna・Ray Tune・クラウド機能の選定と分散実行の判断 道具の選択は最後です。探索設計が固まっていれば、どれを選んでも大きくは外れません。 ### Optuna 4.9系の枝刈りと、探索を再開するストレージ構成 Optuna は2026年3月に 4.9.0 が公開され、Python 3.9 以上を要求します（PyPI・2026年8月時点）。既定の探索手法は TPE で、CMA-ES も選択できます。実装上の要点は2つ。ひとつは枝刈りで、学習ループの各ステップで途中経過の指標を報告しておくと、見込みの薄い試行をその場で止められます。もうひとつがストレージで、既定のメモリ保持ではプロセスが落ちた時点で履歴が消えます。 RDB をストレージに指定すれば、履歴が残り、中断した探索の再開と複数ジョブからの並列実行ができます。数時間以上回す探索なら、最初から RDB を置くほうが安全です。Optuna の書き方と v5.0 の変更点は[Optunaとは？v5.0の既定TPE変更と枝刈り・並列実行を実装目線で解説](https://www.issoh.co.jp/tech/details/18671/)で扱っています。 ### scikit-learn の逐次半減法を試す際の実験的APIの扱い scikit-learn 1.9系にも逐次半減法の実装が入っています。ただし2026年8月時点で experimental のままであり、使用には `enable_halving_search_cv` のインポートが必要です。公式ドキュメントには、予測とAPIが非推奨化の手順を踏まずに変わりうるとの明記があります。 したがって、検証用のスクリプトで試すのは問題ありませんが、長期運用する本番パイプラインへ組み込むなら版を固定してください。版を上げた途端に挙動が変わっても、警告は出ないという前提で扱います。 ### 分散実行へ切り替える損益分岐と、単一ノードのままで足りる条件 Ray Tune やクラウド各社の探索機能は、複数ノードへ試行を分散します。切り替える損益分岐は、1試行の学習時間と総試行数の積が単一ノードの許容時間を超えるかどうか。1試行8分・60試行なら8時間で、GPU1枚の一晩に収まります。分散の設定と運用にかかる手間のほうが上回る領域です。 いっぽう1試行が1時間を超える深層学習や、試行数を数百回確保したい場合は分散が効きます。判断の順序としては、まず枝刈りで総時間を削り、それでも収まらないときに分散へ移る。逆順にすると、無駄な試行を並列で大量に走らせるだけになります。ツール全体の見取り図は[MLOpsツールの選定基準](https://www.issoh.co.jp/tech/details/15341/)を参照してください。 ## よくある質問 ハイパーパラメータ探索について、実装の現場でよく出る質問をまとめます。 ### ハイパーパラメータとパラメータは何が違いますか？ パラメータは学習アルゴリズムがデータから自動で決める値で、ニューラルネットワークの重みや線形回帰の係数がこれにあたります。ハイパーパラメータは学習が始まる前に人が与える設定値で、学習率、バッチサイズ、木の深さ、正則化の強さなどです。見分け方は「その値を変えたら学習をやり直すか」で、やり直しが要るならハイパーパラメータの側になります。 ### グリッドサーチとランダムサーチはどちらを先に試すべきですか？ 振るパラメータが2〜3本かつ候補が少数（各5通り程度）ならグリッドサーチで構いません。全組み合わせを試せるため、結果の説明もしやすい構成です。パラメータが4本以上、または連続値を含むならランダムサーチを選びます。scikit-learn の公式ドキュメントは、ランダム探索の利点として、試行予算をパラメータ数から独立に決められること、性能に効かないパラメータを足しても効率が落ちないことを挙げています。 ### 試行回数は何回くらい回せばよいですか？ ランダムサーチなら、上位5％の領域に95％の確率で当たる回数がおよそ60回、上位10％で足りるならおよそ30回です。この数字は探索空間の広さに依存しないので、初期予算の目安に使えます。実際には1試行の学習時間から逆算するほうが確実で、許容する総時間を1試行の時間で割り、交差検証の分割数でさらに割った回数が上限になります。 ### ベイズ探索は少ない試行でも意味がありますか？ 試行回数が10回に満たない段階では、TPE のような手法も初期は無作為に点を振るため、ランダムサーチと結果がほとんど変わりません。過去の試行から次を推定する仕組みが効き始めるのは、数十回の履歴が溜まってからです。1試行が数秒で終わる小さなモデルでも、推定にかかる手間が相対的に目立つため、ベイズ探索の利点は出にくくなります。 ### 探索の結果を本番へ持ち込むとき、何を引き継げばよいですか？ 採用した値だけでは再現できません。乱数種、ライブラリの版、学習データのスナップショット、交差検証の分割方法、評価指標の定義の5点を揃えて記録します。加えて、探索スクリプトと探索空間の定義、試行履歴のストレージを残しておくと、データが更新されたときに同じ条件で回し直せます。受託であれば、この再実行の手順書までを納品範囲に含めるのが実務的です。 ## 関連記事 - [実験管理とは？記録項目とrun設計・導入判断を実装目線で解説](https://www.issoh.co.jp/tech/details/16340/)：試行ごとのパラメータと成績を残す枠組み - [特徴量エンジニアリングとは？変換・選択・自動化の工程と実装判断](https://www.issoh.co.jp/tech/details/15843/)：探索より先に手を付けるべき工程 - [Weights & Biasesとは？実験管理の仕組みとWeave・料金・MLflowとの使い分け](https://www.issoh.co.jp/tech/details/16077/)：探索履歴を可視化する道具の選び方 - [モデルモニタリングとは？ドリフト検知の指標としきい値設計を実装目線で解説](https://www.issoh.co.jp/tech/details/16338/)：本番へ出した後に成績を追う仕組み - [モデルデプロイとは？本番へ出す6工程と段階公開・切り戻しの判断基準を解説](https://www.issoh.co.jp/tech/details/16345/)：決まった値を本番へ載せる工程 - [交差検証とは？分割手法の選び方とデータリーク対策を実装目線で解説](https://www.issoh.co.jp/tech/details/16353/)：探索の内側で回す評価手続きの設計 --- 出典: [ハイパーパラメータ探索とは？手法の選び方と打ち切り設計を実装目線で解説]()（株式会社一創）