尤度(ゆうど、英語でlikelihood)とは、手元の観測データを固定したまま母数(パラメータ)の値を取り替えて、「どの値ならこのデータが出やすいか」を測る量です。計算式は確率と同じでも、確率は母数を固定してデータを動かし、尤度はデータを固定して母数を動かします。この記事では、同じ二項分布の表を横に読むと確率、縦に読むと尤度になることを実数で確かめたうえで、尤度関数と対数尤度の求め方、最尤推定のPython計算、尤度比検定・AIC・医療の陽性尤度比、ベイズ統計での役割までを、実行結果つきで説明します。
まとめ:尤度の意味と確率との違い・計算の要点
- 読み方は「ゆうど」、英語はlikelihood(ライクリフッド)。意味は「観測データが、ある母数の仮定にどれだけ合うか」。
- 確率との違い:確率は母数を固定してデータが変数、尤度はデータを固定して母数が変数。尤度は母数について足すと1になるようには定義されておらず、連続分布では1を超えることもあります。
- 尤度関数:コインをn回投げてk回表なら L(p)=p^k(1-p)^(n-k)。10回中7回表なら p=0.7 で最大になります。
- 対数尤度:尤度の対数(本記事は自然対数)。各データの対数を足すので、積が0.0に潰れるアンダーフローを防げます。分類モデルでは、負の対数尤度を標本数で割った平均が損失関数のlog loss(交差エントロピー)に一致します。
- 最尤推定(MLE):尤度を最大にする母数を推定値にする方法。正規分布なら平均は標本平均、分散はnで割った値になります。
- 尤度比:2つの仮説の尤度の比。尤度比検定(-2logΛをカイ二乗分布と比べる)や医療検査の陽性尤度比で使われます。モデル選択のAICは尤度比ではなく、最大対数尤度にパラメータ数の罰則を加えた指標です。
- 「ゆうどを持たせる」の「ゆうど」は余裕を表す裕度で、統計の尤度とは別の語です。
尤度の意味と読み方
読み方は「ゆうど」・英語はlikelihood
尤度は「ゆうど」と読みます。「尤」は「尤も(もっとも)」の字で、尤度は「もっともらしさの度合い」を表します。英語はlikelihood(ライクリフッド)で、日常語の「ありそうな度合い」と同じ単語です。派生語は、尤度関数(ゆうどかんすう)、対数尤度(たいすうゆうど)、尤度比(ゆうどひ)、最尤推定(さいゆうすいてい)、最尤法(さいゆうほう)、周辺尤度(しゅうへんゆうど)と読みます。
尤度の定義:観測データの固定と母数の比較
尤度は「観測データxを固定し、母数θの各値に対して、そのデータが得られる確率(連続分布なら確率密度)を対応させたもの」です。記号では確率を p(x|θ)、尤度を L(θ|x) と書き分けます。中身の計算式は同じで、どちらを変数と見るかだけが違います。
コインを3回投げて1回だけ表が出たとします。表の出る確率πが0.2なら、この結果が出る確率は3×0.2×0.8^2=0.384。πが0.5なら0.375、0.8なら0.096です。この3つの値が、π=0.2、0.5、0.8それぞれの尤度で、3つの中ではπ=0.2が「3回中1回」を最もよく説明している、と読みます。尤度は観測を動かさずに仮定のほうを取り替えて比べる道具で、尤度という語は、その比較に使う値と、母数から値を返す関数(尤度関数)の両方を指します。
同音の「裕度」との区別(ゆうどを持たせる)
「ゆうどを持たせる」「裕度と尤度の違い」で調べている場合、探しているのはおそらく裕度です。設計・製造・耐震の現場でいう「ゆうど」は裕度で、デジタル大辞泉の「裕度」は「規定値と試験結果との差のうち、許容できる範囲」と定義し、耐震裕度・安全裕度を用例に挙げています。「裕度を持たせる」は余裕(マージン)をとるという意味です。統計の尤度に余裕という意味はないため、設計や試験の文脈なら裕度、データと仮定の当てはまりの文脈なら尤度と判断できます。
確率と尤度の違い:同じ表の横の読み方と縦の読み方
確率と尤度の違いは、言葉で説明するより、1枚の表で見るほうが早くわかります。
3回投げの二項分布表:行の和1.000と列の和1.275
コインを3回投げて表がk回出る確率を、表の確率πごとに並べた表です(二項分布 3Ck π^k (1-π)^(3-k))。ベルヌーイ分布と二項分布の関係はベルヌーイ分布と二項分布の違いとは?幾何分布・多項分布との関係と期待値・分散の公式で整理しています。
| 表の確率π | k=0 | k=1 | k=2 | k=3 | 行の和 |
|---|---|---|---|---|---|
| 0.1 | 0.729 | 0.243 | 0.027 | 0.001 | 1.000 |
| 0.3 | 0.343 | 0.441 | 0.189 | 0.027 | 1.000 |
| 0.5 | 0.125 | 0.375 | 0.375 | 0.125 | 1.000 |
| 0.7 | 0.027 | 0.189 | 0.441 | 0.343 | 1.000 |
| 0.9 | 0.001 | 0.027 | 0.243 | 0.729 | 1.000 |
1行を横に読むと確率です。π=0.5に固定すると、k=0〜3の起こりやすさが0.125、0.375、0.375、0.125と並び、足すと必ず1になります。これが「母数を固定してデータを動かす」見方です。
1列を縦に読むと尤度です。観測が「k=1」に決まったら、k=1の列だけを見て、πごとの値(0.243、0.441、0.375、0.189、0.027)を比べます。最大はπ=0.3の0.441で、5つの候補の中ではπ=0.3が最も尤もらしい、と読みます。この列の和は1.275で、1になりません。πを0から1まで連続的に動かして積分しても0.25で、やはり1ではありません。尤度は「母数についての確率分布」ではないからです。表はSciPyで次のように作れます。
from scipy import stats
from scipy.integrate import quad
# 3回投げて表がk回出る確率を、表の確率πごとに並べる
pis = [0.1, 0.3, 0.5, 0.7, 0.9]
for pi in pis:
row = [stats.binom.pmf(k, 3, pi) for k in range(4)]
print(f"π={pi} " + " ".join(f"{v:.3f}" for v in row) + f" 行の和={sum(row):.3f}")
# 観測が「k=1」に決まったら、k=1の列だけを見る=尤度
col = [stats.binom.pmf(1, 3, pi) for pi in pis]
print(f"k=1の列の和 = {sum(col):.3f}")
area, _ = quad(lambda pi: stats.binom.pmf(1, 3, pi), 0, 1)
print(f"k=1の尤度をπで0から1まで積分 = {area:.4f}")
Python 3.12.13、NumPy 2.5.4、SciPy 1.18.1で実行すると、上の表の5行に続いて「k=1の列の和 = 1.275」「k=1の尤度をπで0から1まで積分 = 0.2500」と出力されます。
確率と尤度の対比表(7項目)
| 観点 | 確率 | 尤度 |
|---|---|---|
| 固定するもの | 母数θ | 観測データx |
| 変数 | 観測データx | 母数θ |
| 問いの向き | どのデータが出やすいか | どの母数が合うか |
| 記号 | p(x|θ) | L(θ|x) |
| 表での読み方 | 行を横に読む | 列を縦に読む |
| 足し合わせ | 全事象で1 | 1になる保証なし |
| 主な用途 | 予測・リスク評価 | 推定・モデル比較 |
尤度の絶対値(0.441など)には単独の意味がありません。意味があるのは、母数を変えたときの大小と比です。そのため実務では、尤度が最大になる点(最尤推定)と、2つの仮説の尤度の比(尤度比)の形で使います。
尤度が1を超える場合:連続分布の確率密度
コインやサイコロのような離散分布では尤度は確率そのものなので1以下ですが、連続分布では尤度が確率密度で計算されるため1を超えることがあります。平均0・標準偏差0.1の正規分布で、観測値0の確率密度は約3.989です。これは「確率が399%」という意味ではなく、密度の高さが1を超えているだけです。尤度が1を超えたら計算ミス、と判断しないでください。
尤度関数の求め方とコイン投げの計算例
尤度関数を立てる3ステップ
- データが従う分布を仮定します(コインの表裏ならベルヌーイ分布、測定値なら正規分布など)。
- 1件のデータが得られる確率(または確率密度)を、母数を含む式で書きます。
- データが互いに独立なら、全件の確率を掛け合わせます。これが尤度関数です。
コインをn回投げてk回表なら、1回の確率は表がp・裏が1-pなので、L(p)=p^k(1-p)^(n-k) です。二項分布として書くと前に二項係数nCkが付きますが、pを含まない定数なので、最大になる点は変わりません。独立でないデータ(時系列で前の値に引きずられる測定など)に単純な掛け算を当てると、尤度の値そのものが誤ります。誤差の向きは依存の形しだいで、同じ観測を二重に記録した場合は積が小さすぎます。依存があるなら、前の値を条件にした条件付き分布で尤度を組み立ててください。
10回中7回表のときの尤度(pごとの計算表)
n=10、k=7として L(p)=p^7(1-p)^3 をpごとに計算しました。対数尤度logL(p)も並べます。
| p(表の確率の仮定) | 尤度 L(p) | 対数尤度 logL(p) |
|---|---|---|
| 0.3 | 0.000075 | -9.4978 |
| 0.5 | 0.000977 | -6.9315 |
| 0.6 | 0.001792 | -6.3247 |
| 0.7 | 0.002224 | -6.1086 |
| 0.8 | 0.001678 | -6.3903 |
| 0.9 | 0.000478 | -7.6453 |
尤度はp=0.7で最大の0.002224です。この値は「表7回・裏3回の特定の並び」が出る確率でもあるので小さくなりますが、値が小さいことだけで母数の当てはまりが悪いと判断はできません。比べるべきは行どうしの大小で、最大を与えるpが観測比率7/10と一致している点がこの表の読みどころです。
対数尤度とは:使う理由と負の対数尤度(損失関数)
対数尤度(たいすうゆうど、log-likelihood)は尤度関数の対数をとったものです。本記事のlogはすべて自然対数(底はネイピア数e、Pythonのnp.log)です。対数は単調増加なので、対数尤度を最大にする母数は、尤度を最大にする母数と必ず一致します。
対数尤度によるアンダーフロー対策と微分の簡略化
コイン投げのような離散分布では、尤度は1以下の確率の積なので、データが増えるほど0に近づきます(連続分布の確率密度は1を超えうるため、積が大きくなる場合もあります)。7割が表の比率のままn=1000(k=700)に増やすと、p=0.7での尤度は約5.07e-266です。n=1220(k=854)まで増やすと、倍精度浮動小数点数の最小の非正規化数(約4.94e-324)を下回り、計算結果が0.0になって(アンダーフロー)母数の比較ができなくなります。0.0になった積の対数をとっても元には戻らないため、最初から各データの確率の対数を足し合わせます。こうすればn=1000でも-610.8643という普通の大きさの数です。もう1つの利点は微分で、対数をとると積の微分が和の微分になり、項ごとに扱えます。
尤度方程式による p=k/n の導出
コインの例の対数尤度は logL(p)=k・log(p)+(n-k)・log(1-p) です。pで微分すると k/p-(n-k)/(1-p)(この導関数をスコア関数と呼びます)となり、これを0と置いた式(尤度方程式)を解くと p=k/n が得られます。n=10、k=7なら0.7で、上の表の最大点と一致します。正規分布やポアソン分布でも、対数をとる、微分する、0と置く、の手順は同じです。
分類モデルの負の対数尤度とlog lossの対応
対数尤度の符号を反転した値を負の対数尤度(NLL、negative log-likelihood)と呼びます。最大化を最小化に置き換えただけなので、最尤推定は「負の対数尤度の最小化」と言い換えられます。2値分類で使う損失関数のlog loss(2値交差エントロピー)は、正解ラベルをベルヌーイ分布の観測とみなしたときの負の対数尤度を、標本数で割った平均です(総和のままなら1.301365、平均なら0.260273と値が変わります)。scikit-learnのlog_lossと手計算を並べて確かめます。
import numpy as np
from sklearn.metrics import log_loss
# 正解ラベルと、モデルが出した「1である確率」
y = np.array([1, 0, 1, 1, 0])
p = np.array([0.9, 0.2, 0.7, 0.6, 0.1])
log_lik = np.sum(y * np.log(p) + (1 - y) * np.log(1 - p)) # ベルヌーイ分布の対数尤度
print(f"対数尤度 = {log_lik:.6f}")
print(f"負の対数尤度の平均 = {-log_lik / len(y):.6f}")
print(f"sklearn log_loss = {log_loss(y, p):.6f}")
scikit-learn 1.9.1での出力です。
対数尤度 = -1.301365
負の対数尤度の平均 = 0.260273
sklearn log_loss = 0.260273
2つの値は小数6桁まで一致します。正則化を付けないロジスティック回帰の係数推定や、交差エントロピー損失を使うニューラルネットワークの分類学習は、この負の対数尤度を下げる計算です(正則化を付けると、目的関数に罰則項が加わり純粋な最尤推定ではなくなります)。同じデータを同じ集計方法で評価して損失が0.26から0.20に下がったら、モデルが正解データに与える尤度が上がった、と読み替えられます。交差エントロピーの情報理論側からの説明はエントロピーとは?情報量の考え方と機械学習での使いどころを実装目線で解説にあります。
最尤推定(MLE):Pythonでの計算と正規分布の推定量
最尤推定(Maximum Likelihood Estimation、MLE)は、尤度を最大にする母数を推定値にする方法です。尤度にもとづく推定の体系は、R.A.フィッシャーの論文「On the mathematical foundations of theoretical statistics」(Philosophical Transactions of the Royal Society of London. Series A、222巻、1922年、309-368頁)で示されました。
SciPyのminimize_scalarによる最尤推定値の計算
10回中7回表の例を、負の対数尤度の最小化として解きます。SciPyのminimize_scalarのbounded法を使い、探索範囲を0と1から1e-9だけ内側に寄せてlog(0)の発散を避け、res.successで収束を確認してから推定値を表示しています。
import numpy as np
from scipy.optimize import minimize_scalar
# 観測データ:コインを10回投げて7回表が出た
n, k = 10, 7
def neg_log_likelihood(p):
return -(k * np.log(p) + (n - k) * np.log(1 - p))
for p in [0.3, 0.5, 0.6, 0.7, 0.8, 0.9]:
L = p**k * (1 - p)**(n - k)
print(f"p={p:.1f} L(p)={L:.6f} logL(p)={-neg_log_likelihood(p):.4f}")
res = minimize_scalar(neg_log_likelihood, bounds=(1e-9, 1 - 1e-9), method="bounded")
if not res.success:
raise RuntimeError(f"最適化が収束しませんでした: {res.message}")
print(f"最尤推定値 p_hat = {res.x:.6f}")
出力は前章の計算表の6行に続いて「最尤推定値 p_hat = 0.700000」となり、手で導いた p=k/n と一致します。解析的に解けないモデルでも、負の対数尤度を関数として定義して最適化ルーチンに渡す、という同じ形で推定できます。
正規分布の最尤推定量は標本平均とnで割った分散
正規分布の対数尤度を平均μと分散σ^2で微分して0と置くと、μの最尤推定量は標本平均、σ^2の最尤推定量は偏差平方和をnで割った値になります。表計算ソフトや教科書でよく使う不偏分散(n-1で割る)とは分母が違います。10個の測定値で確かめます。
import numpy as np
# 観測データ:ある製品10個の測定値(mm)
x = np.array([10.2, 9.8, 10.5, 10.1, 9.6, 10.3, 9.9, 10.4, 10.0, 9.7])
n = len(x)
mu_hat = x.mean() # 平均の最尤推定量
sigma2_hat = ((x - mu_hat) ** 2).sum() / n # 分散の最尤推定量(nで割る)
logL = -(n / 2) * np.log(2 * np.pi * sigma2_hat) - n / 2
print(f"mu_hat = {mu_hat:.4f}")
print(f"sigma2_hat = {sigma2_hat:.6f} (不偏分散 = {x.var(ddof=1):.6f})")
print(f"最大対数尤度 = {logL:.4f}")
mu_hat = 10.0500
sigma2_hat = 0.082500 (不偏分散 = 0.091667)
最大対数尤度 = -1.7146
最尤推定量0.0825は不偏分散0.091667より小さく、最尤推定量が分散を小さめに見積もることがわかります。最尤推定量は不偏分散の (n-1)/n 倍で、n=10なら0.9倍、つまり1割小さくなります。線形回帰で、誤差が互いに独立で平均0・分散一定の正規分布に従うと仮定すると、最小二乗法の係数と最尤推定の係数が一致します(重回帰分析とは?単回帰との違い・式の立て方と結果の見方を実例で解説)。
ビジネスでの使いどころ:A/Bテスト・与信スコア・故障率
A/Bテストのコンバージョン率は、n件の配信でk件成約したときの p=k/n がそのまま最尤推定値で、コイン投げと同じ式です(1,000配信で32件なら3.2%)。差が偶然かどうかの判定と必要なサンプル数はABテストとは?必要サンプル数の計算コードと検証期間・判定を誤らせる条件で扱っています。与信スコアや解約予測のロジスティック回帰は、係数を対数尤度の最大化(実務では多くの場合、正則化の罰則付き)で決めています。設備の故障を指数分布で当てはめると、全台が故障するまで観測できた場合、故障率λの最尤推定量は「故障までの平均時間の逆数」です。まだ故障していない設備(打ち切りデータ)があるときは、故障件数を全設備の稼働時間の合計で割ります。故障した設備だけの平均時間を使うと故障率を過大に見積もります。予測モデルを業務に組み込む段階では、機械学習モデル開発のように、分布の仮定とデータの独立性を設計段階で確認できる体制があると手戻りが減ります。
最尤推定の結果を疑うべき3つの条件
次の条件に当てはまるときは、最尤推定の結果をそのまま採用せず、別の方法と並べて確認してください。代表的なものを3つ挙げます。
- 標本が小さい:上の例のとおり最尤推定量は不偏とは限らず、n=10で分散を1割小さく見積もります。一定の正則条件のもとで標本を増やすと真の値に近づく(一致性)ものの、数十件以下の推定では不偏推定量やベイズ推定と並べて判断してください。
- 分布の仮定が外れている:外れ値の多いデータに正規分布を仮定すると、計算がどれだけ正確でも推定は的を外します。結論を左右するのは最適化の精度より分布の選び方です。
- 対数尤度に山が複数ある:混合分布などでは、数値最適化が初期値しだいで局所的な山に止まります。初期値を変えて複数回推定し、最大対数尤度を比べてください。これとは別に、正規混合分布では1つの成分の分散が0に縮むと尤度が無限大に発散する特異点があり、scikit-learnの混合モデルの解説も共分散を正則化しない限り無限大の尤度の解に向かうことがあると注意しています。
尤度比:尤度比検定・AIC・医療の陽性尤度比
尤度比と対数尤度比の定義
尤度比は、2つの仮説それぞれの尤度の比です。帰無仮説の最大尤度をL0、対立仮説の最大尤度をL1とすると Λ=L0/L1 と書き、1より小さいほど対立仮説のほうがデータをよく説明しています。対数をとった対数尤度比は logL0-logL1 という差になり、計算ではこちらを使います。前章の表なら、p=0.5とp=0.7の対数尤度比は -6.9315-(-6.1086)=-0.8229 です。
尤度比検定の手順と数値例(10回中7回表は偏りか)
- 帰無仮説のモデルと、それを含むより自由なモデル(対立仮説)を立てます。
- それぞれで最尤推定をして、最大対数尤度を求めます。
- 検定統計量 -2logΛ=2×(対立仮説の最大対数尤度-帰無仮説の最大対数尤度)を計算します。
- 帰無仮説のもとで近似的に従う、自由度が「パラメータ数の差」のカイ二乗分布と比べてp値を出します。この近似には大標本と正則条件が必要で、母数が範囲の端にある場合(分散0の検定など)や混合モデルでは成り立たないことがあります。
「10回中7回表」は、表の確率0.5のコインでも起こる程度の偏りかを検定します。
import numpy as np
from scipy import stats
n, k = 10, 7
def log_lik(p):
return k * np.log(p) + (n - k) * np.log(1 - p)
l0 = log_lik(0.5) # 帰無仮説 p=0.5 の対数尤度
l1 = log_lik(k / n) # 対立仮説(pを自由に推定)の最大対数尤度
G = 2 * (l1 - l0) # -2logΛ
print(f"-2logΛ = {G:.4f}")
print(f"カイ二乗近似のp値(自由度1) = {stats.chi2.sf(G, df=1):.4f}")
print(f"二項検定(正確検定)のp値 = {stats.binomtest(k, n, 0.5).pvalue:.4f}")
-2logΛ = 1.6457
カイ二乗近似のp値(自由度1) = 0.1996
二項検定(正確検定)のp値 = 0.3438
どちらのp値でも有意水準5%では偏りと言えません。ただしカイ二乗近似のp値0.1996は、正確検定の0.3438よりかなり小さく出ています。-2logΛがカイ二乗分布に近づくのは標本が大きいときで、これはS. S. Wilksの論文「The Large-Sample Distribution of the Likelihood Ratio for Testing Composite Hypotheses」(The Annals of Mathematical Statistics、9巻1号、1938年、60-62頁)に由来するウィルクスの定理です。n=10のような小標本では、近似のp値をそのまま結論に使わず正確検定を優先してください。帰無仮説の立て方は帰無仮説とは?棄却されない・できないときの結論と対立仮説との違い、p値の読み方は有意差検定とは?有意差・p値の意味と検定の種類・やり方をわかりやすく解説で扱っています。
AICと尤度比検定の使い分け(罰則項2k)
入れ子でないモデルどうしや、3つ以上のモデルを一度に比べるときは、赤池情報量規準(AIC)を使います。AIC=-2logL+2k(Lは最大尤度、kは推定したパラメータ数)で、値が小さいモデルを選びます。H. Akaikeの論文「A new look at the statistical model identification」(IEEE Transactions on Automatic Control、19巻6号、1974年、716-723頁)で広く知られる形にまとめられました。比べるモデルは同じデータに最尤推定で当てはめ、尤度の定数項の扱いもそろえておく必要があります。上のコインの例では、p=0.5に固定したモデル(k=0)のAICが13.86、pを推定するモデル(k=1)が14.22で、AICは固定モデルを選びます。対数尤度の改善0.82を2倍した1.65が、パラメータ1個分の罰則の増分2に届かないからです。尤度比検定が「この差は偶然か」を問うのに対し、AICは「予測に使うならどちらか」を問います。
医療診断の陽性尤度比・陰性尤度比
医療の検査精度では、尤度比を「検査結果が診断をどれだけ動かすか」の指標として使います。オックスフォード大学CEBMの解説の定義は、陽性尤度比(LR+)=感度÷(1-特異度)、陰性尤度比(LR-)=(1-感度)÷特異度 です。同じ解説は、検査前確率が30〜70%のとき尤度比10超の結果は疾患をrule in(確定側に倒す)するとしており、CEBMの診断研究の教材は尤度比10超を強い陽性、0.1未満を強い陰性の結果と整理しています。感度90%・特異度95%の検査なら、LR+は0.9÷0.05=18、LR-は0.1÷0.95=約0.105です。
ベイズ統計での尤度:事後分布・周辺尤度・MAP推定
事後分布と尤度×事前分布の比例関係
ベイズの定理を母数θと観測データxで書くと、事後分布=尤度×事前分布÷周辺尤度です。分母の周辺尤度(エビデンス)は、尤度を事前分布で重みづけして母数について積分した値で、θを含まないため、事後分布は「尤度と事前分布の積に比例する」形で扱います。データが少なければ事前分布の形が残り、データが増えるほど尤度が事後分布を絞り込みます。定理の導出と実装はベイズの定理とは?公式の意味・具体例からナイーブベイズ実装まで、積分が解けない事後分布をサンプリングで求める方法はMCMC(マルコフ連鎖モンテカルロ法)とは?仕組み・MH法とHMCの違い・収束判定をPythonで解説にあります。
陽性でも15.4%にとどまる計算(有病率1%・感度90%)
前章の検査(感度90%・特異度95%)を、有病率1%の集団に使って陽性が出たとします。事前オッズは0.01÷0.99=0.0101、これに陽性尤度比18を掛けると事後オッズは0.1818で、確率に戻すと0.1818÷1.1818=0.154、つまり15.4%です。ベイズの定理に直接代入しても 0.01×0.9÷(0.01×0.9+0.99×0.05)=0.154 で同じ値になります。尤度比18はオッズを18倍にするだけで、事前確率が1%と低ければ、陽性でも疾患がある確率は2割に届きません。
最尤推定とMAP推定の関係
頻度主義では母数を未知の定数とみて、尤度を最大にする1点(最尤推定量)を報告します。ベイズ統計では母数を確率変数とみるので、結論は尤度で事前分布を更新した事後分布そのものです。ベイズ統計の中で1点の推定値が欲しいときに使うのがMAP推定(事後確率最大化)で、連続な母数なら事後分布の密度が最大になる点を推定値にします。事前分布が一様なら事後分布は尤度に比例するため、MAP推定は最尤推定と一致します。どの立場でも、尤度関数の組み立て方(分布を仮定し、独立なデータの確率を掛ける)は共通です。
よくある質問
尤度の読み方は?
「ゆうど」と読みます。英語はlikelihood(ライクリフッド)です。尤度関数は「ゆうどかんすう」、対数尤度は「たいすうゆうど」、最尤推定は「さいゆうすいてい」と読みます。
尤度と確率の違いは?
確率は母数を固定して、どのデータが出やすいかを表します。尤度はデータを固定して、どの母数がそのデータをよく説明するかを表します。同じ二項分布の表を行方向(横)に読むと確率で和は1、列方向(縦)に読むと尤度で、この例の列の和は1.275です。尤度は和が1になるようには作られていません。
尤度関数とは何ですか?
観測データを固定し、母数を変数として尤もらしさを返す関数です。コインをn回投げてk回表なら L(p)=p^k(1-p)^(n-k) で、10回中7回表ならp=0.7で最大になります。
対数尤度とは何ですか?なぜ使うのですか?
尤度関数の対数(自然対数)です。積が和になるので微分しやすく、各データの対数を足して計算すれば、データ数が多いときに尤度が0.0に潰れるアンダーフローを防げます。対数は単調増加なので最大になる母数は変わりません。分類モデルでは、負の対数尤度の標本平均が損失関数のlog lossに一致します。
尤度は1を超えることがありますか?
あります。連続分布では尤度を確率密度で計算するため、平均0・標準偏差0.1の正規分布なら観測値0での尤度は約3.989です。離散分布では1以下ですが、どちらの場合も絶対値ではなく、母数を変えたときの大小や比で読みます。
「ゆうどを持たせる」の「ゆうど」は尤度ですか?
いいえ、裕度です。デジタル大辞泉では「規定値と試験結果との差のうち、許容できる範囲」と定義され、余裕やマージンを指します。統計の尤度に余裕という意味はありません。
周辺尤度とは何ですか?
ベイズの定理の分母で、尤度を事前分布で重みづけして母数について積分した値です。エビデンスとも呼ばれ、モデル全体がデータをどれだけ説明するかを表すため、ベイズ的なモデル比較(ベイズファクター)に使われます。