---
title: "有意水準とは？決め方・求め方と5%の根拠、p値・有意確率との違い"
url: "https://www.issoh.co.jp/column/details/6810/"
published: 2025-05-20
updated: 2026-10-19
categories: ["データ分析・GA4"]
publisher: "株式会社一創"
---

# 有意水準とは？決め方・求め方と5%の根拠、p値・有意確率との違い

有意水準はデータから計算する値ではありません。JIS Z 8101-1:2015 は有意水準を「帰無仮説が真のときに、それを棄却する確率の上限値」と定義しており、判断基準が結果に左右されないよう、分析者がデータ収集の前に決めるものです。計算するのは、その水準に対応する臨界値・棄却域と、実データから出るp値のほうです。この記事では、その計算をコイン100回投げの例と Excel・Python の実行結果で示します。

## まとめ：有意水準の決め方と5%の根拠

- **定義**：JIS Z 8101-1:2015 の1.45で「帰無仮説が真のときに、それを棄却する確率の上限値」。記号はα。
- **決め方**：計算では求まりません。データを取る前に、第1種の過誤（差がないのに差があると言う誤り）をどこまで許容できるかで決めます。
- **計算するもの**：αから臨界値と棄却域を計算し、実データのp値と比較します。α=0.05の両側検定なら標準正規分布の臨界値は1.96です。
- **計算例**：コインを100回投げて表が60回なら z=2.0、両側p値0.0455で、正規近似では5%有意です。ただし正確な二項検定ではp値0.0569となり、有意になりません。
- **標本サイズ**：効果量d=0.5を検出力80%で検出する2群比較なら、1群あたりα=0.05で64人、α=0.01で96人が必要です。
- **5%の根拠**：Fisher が1925年に「便宜的（convenient）」と書いたのが最初の明示で、統計理論から導かれた値ではありません。本人が1926年に2%・1%も選べると書いています。
- **禁じ手**：データを見てから水準を緩める、複数回検定して水準を据え置く、離散分布で公称5%が達成できている前提にする。

## JIS規格が定める有意水準の定義

### 「棄却する確率の上限値」という定義の意味

日本産業規格 JIS Z 8101-1:2015（ISO 3534-1:2006 に対応）は、項番1.45で有意水準を次のように定めています（[JIS Z 8101-1:2015 の本文](https://kikakurui.com/z8/Z8101-1-2015-01.html)）。

「＜統計的検定＞帰無仮説（1.41）が真のときに、それを棄却する確率（2.5）の上限値。」

押さえるべきは**「上限値」**という語です。多くの解説は有意水準を「棄却する確率」と説明しますが、規格は上限値と書き分けています。注記1は、帰無仮説が単純仮説なら棄却する確率は一つの値にしかならないと述べています。複合仮説では帰無仮説に含まれる分布ごとに棄却確率が変わり得るため、そのどれでもαを超えないように検定を組みます。後述する離散分布の例も、この定義があって初めて筋が通ります。

第1種の過誤（1.46）は「帰無仮説が真のときに、それを棄却すること」、第2種の過誤（1.47）は「帰無仮説が真でないときに、帰無仮説を棄却できないこと」で、規格の注記はそれぞれを「あわてものの誤り」「ぼんやりものの誤り」とも呼ぶと記しています。αは第1種の過誤を犯す確率の上限を分析者が自分で設定した値です。

### 「統計的に有意」と言える条件

「統計的に有意」とは、実データのp値があらかじめ決めた有意水準を下回った状態を指し、日常語の「有意義」とは無関係です。有意水準0.05で有意になったという記述は、「帰無仮説が正しいと仮定したとき、観測されたデータ以上に極端な結果が生じる確率が5%未満だった」という以上のことを述べていません。検定手法の選び方は[有意差検定とは？有意差・p値の意味と検定の種類・やり方をわかりやすく解説](/column/details/6809/)で扱っています。

## 有意水準とp値・有意確率・危険率の違い

### JIS規格が定めるαとp値の役割分担

同じ規格の1.49はp値を「検定統計量の観測値に対して、その値を含み、その値よりも帰無仮説を支持することにならない検定統計量が得られる確率」と定義しています。αはデータ収集前に決める基準値で、実験を何度繰り返しても同じ値です。p値は個々のデータから計算され、標本が変わるたびに変わります。基準を先に置き、結果を後から当てる順序が検定という手続きの前提です。

### 有意確率・危険率という別名の規格上の扱い

p値を**有意確率**と呼ぶのは慣用ではなく規格用語です。JIS Z 8101-1:2015 の1.49は見出し語そのものが「p値，有意確率（p-value）」で、両者を同義と定めています。「有意確率」と「有意水準」は語形が似ているだけの別物で、前者は計算結果、後者は事前設定値です。SPSS の出力で「有意確率」と表示される列はp値であり、事前に設定した有意水準と比べます。有意水準を5%と決めていれば、比べる相手が0.05です。

一方の**危険率**は有意水準の別名として教科書で広く使われますが、規格用語ではありません。JIS Z 8101-1:2015 と JIS Z 8101-2:2015 の全文を検索しても「危険率」は0件で、規格が使うのは「有意水準」と「第1種の誤り」です。社外向けの報告書では規格用語のほうが誤解を招きません。

### p値が有意水準より小さいとき・大きいときの結論

p値が有意水準より小さければ、あらかじめ定めた手続きに従って帰無仮説を棄却します。JIS Z 8101-1 の1.48は検定を「帰無仮説を棄却して対立仮説を支持できるかどうかを決定する手続き」と定義しており、棄却は対立仮説の支持につながります。ただしp値が小さいこと自体は、効果の大きさも実務上の重要性も示しません。逆にp値が大きい場合に言えるのは「棄却できなかった」ことだけで、「差がない」証明にはなりません。標本サイズが足りず検出力が不足していた可能性が残るためです。同規格1.47の注記1も、標本サイズが十分でないために第2種の誤りが生じることが多いと注意しています。結論の書き方は[帰無仮説とは？棄却されない・できないときの結論と書き方、対立仮説との違い](/column/details/5730/)で詳述しています。

## 有意水準の決め方と分野別の相場

### 有意水準を決めるタイミングと判断根拠

有意水準を算出する公式はありません。決める根拠は統計理論の外側、つまり判断を誤ったときに何が起きるかという実務上のコストにあります。医薬品の有効性を誤って認めれば健康被害につながり、工程改善の効果を誤って認めれば無駄な設備投資が発生します。この損失の重さが水準感を決めます。

決めるタイミングはデータ収集前です。データを見てからαを動かすと、第1種の過誤の確率が設定値どおりに制御されなくなります。後述する Lakens ら（2018年）も、研究者はデータ収集前にα水準の選択を正当化すべきだと結論しています。

### 5%・1%・0.1%・10%の使い分け

| 有意水準α       | 両側検定のz臨界値 | 主に使われる場面              |
| ----------- | --------- | --------------------- |
| 0.10（10%）   | 1.645     | 探索的分析、予備調査            |
| 0.05（5%）    | 1.960     | 多くの学術分野と実務の既定値        |
| 0.01（1%）    | 2.576     | 第1種の過誤をより厳しく抑えたい場合    |
| 0.005（0.5%） | 2.807     | 新発見の主張に対する引き下げ提案      |
| 0.001（0.1%） | 3.291     | 第1種の過誤を0.1%以下に抑えたい場合  |
| 5×10\-8     | 5.451     | 共通変異のゲノムワイド関連解析（GWAS） |

10%は探索段階の候補選別に向く水準で、確証的な結論の基準に使うなら、誤判定の損失と必要な検出力に基づく理由を事前に書いておくべきです。黙って10%にして「有意だった」と書けば、読み手は既定の5%を想定するため誤読を招きます。表の末尾の5×10\-8は分野の慣習ではなく計算で出た値で、導出は後述のボンフェローニ補正の項で扱います。

### 第1種・第2種の過誤のコストによる水準選択

αを小さくすれば第1種の過誤は減りますが、同じ標本サイズのままなら第2種の過誤（βエラー）が増え、検出力（1−β）が落ちます。効果量とばらつきが同じなら、αとβをともに小さくするには標本サイズを増やすか、測定精度の向上や対応のある比較への変更で設計側を変えるしかありません。有意水準の決定は実質的に「どちらの誤りが自社にとって高くつくか」への回答です。

誤って効果を認めると広告費を無駄にする販促の検証なら第1種の過誤を厳しくします。不良の兆候を見逃す損失が大きい工程監視では、まず標本サイズや測定頻度を増やして検出力を確保できるかを検討し、増やせないときに誤警報と見逃しの損失を比べてαを決めます。標本サイズの見積もりは[定量調査とは？定性調査との違い・手法とサンプルサイズの決め方](/column/details/6221/)で扱っています。

### 有意水準ごとに必要な標本サイズの計算

αを厳しくした代償は、必要な標本サイズとして数字で出せます。2群の平均を両側t検定で比べ、効果量d=0.5（平均の差が標準偏差の半分）を検出力80%で検出するのに必要な1群あたりの人数を、非心t分布から求めました。SciPy 1.13.1 での実行結果です。

```
import math
from scipy import stats

d, power = 0.5, 0.80
for alpha in (0.10, 0.05, 0.01, 0.005):
    m = 2
    while True:
        df, nc = 2 * m - 2, d * math.sqrt(m / 2)
        tc = stats.t.ppf(1 - alpha / 2, df)
        pw = stats.nct.sf(tc, df, nc) + stats.nct.cdf(-tc, df, nc)
        if pw >= power:
            break
        m += 1
    print("α=%.3f: 1群あたり %d 人" % (alpha, m))
```

```
α=0.100: 1群あたり 51 人
α=0.050: 1群あたり 64 人
α=0.010: 1群あたり 96 人
α=0.005: 1群あたり 109 人
```

5%から1%へ厳しくすると1群64人が96人になり、0.005では109人と0.05の1.70倍です。この条件で1群64人しか集められない施策検証なら、αを0.05から0.01へ下げた時点で検出力80%を確保できなくなります。比率の差（コンバージョン率など）で人数を見積もるコードは[ABテストとは？必要サンプル数の計算コードと検証期間・判定を誤らせる条件](/column/details/17286/)で扱っています。

## 有意水準から臨界値と棄却域を計算する手順

### Excel逆関数による臨界値の算出

有意水準そのものは計算しませんが、対応する臨界値は関数一つで求まります。次の関数はいずれも Excel 2016 以降と Microsoft 365 で使えます。

| 検定統計量                | Excelの式                | 結果       |
| -------------------- | ---------------------- | -------- |
| z（両側 α=0.05）         | \=NORM.S.INV(1-0.05/2) | 1.959964 |
| z（片側 α=0.05）         | \=NORM.S.INV(1-0.05)   | 1.644854 |
| t（両側 α=0.05・自由度19）   | \=T.INV.2T(0.05,19)    | 2.093024 |
| カイ二乗（上側 α=0.05・自由度1） | \=CHISQ.INV.RT(0.05,1) | 3.841459 |

NORM.S.INV は標準正規分布の累積分布関数の逆関数を返し、引数は確率のみです。0以下または1以上を渡すと #NUM! エラーになるため、両側検定では 1-α/2 の形を守ってください。

### Python・SciPyによる臨界値の算出

同じ臨界値は SciPy の分布オブジェクトの ppf メソッドで得られます。以下は SciPy 1.13.1 での実行結果です。

```
from scipy import stats

alpha = 0.05
print("z 両側:", round(stats.norm.ppf(1 - alpha / 2), 4))
print("z 片側:", round(stats.norm.ppf(1 - alpha), 4))
print("t 両側 df=19:", round(stats.t.ppf(1 - alpha / 2, 19), 4))
print("chi2 上側 df=1:", round(stats.chi2.ppf(1 - alpha, 1), 4))
```

```
z 両側: 1.96
z 片側: 1.6449
t 両側 df=19: 2.093
chi2 上側 df=1: 3.8415
```

カイ二乗検定だけ 1-alpha を渡している点に注意してください。この例は適合度検定や独立性検定のように上側だけを棄却域に取る場合なので、αを2で割りません。母分散のカイ二乗検定では、対立仮説に応じて両側や下側の棄却域も使います。

### 片側検定・両側検定における棄却域の配分

z検定やt検定のような連続分布の検定では、帰無仮説の下で棄却域に入る確率がαになるように境界を決めます。通常の両側検定では、左右の裾へα/2ずつ振り分けます。α=0.05なら両裾に0.025ずつで臨界値は±1.96です。片側検定では片方の裾にα全部を置くため臨界値は1.645まで下がり、同じデータでも棄却しやすくなります。

この差があるので、片側検定は差の向きをデータを見る前に理論的に確定できる場合に限って使います。データを見てから差が出た側に合わせて切り替えると、実質的な第1種の過誤の確率は0.05ではなく0.10になります。

### コイン100回投げで棄却域とp値を求める計算例

コインに偏りがあるかを、有意水準5%の両側検定で調べる例です。帰無仮説は「表が出る確率が0.5」で、100回投げて表が60回出たとします。

1. 有意水準を決める：データを見る前に、α=0.05・両側と決めます。
2. 検定統計量を計算する：帰無仮説の下で表の回数は平均50、標準偏差は√(100×0.5×0.5)=5です。正規近似で z=(60−50)÷5=2.0 になります。
3. 棄却域を求める：両側α=0.05の臨界値は±1.96なので、棄却域は |z|≧1.96 です。回数に直すと50±1.96×5、つまり40.2回以下か59.8回以上です。
4. p値を計算する：z=2.0より外側の両裾の面積は0.0455です。Excel では =2\*(1-NORM.S.DIST(2,TRUE)) で求まります。
5. 判定する：z=2.0は棄却域に入り、p値0.0455も0.05を下回るので、帰無仮説を棄却します。

```
from scipy import stats

z = (60 - 50) / 5
print("z =", z)
print("両側p値 =", round(2 * stats.norm.sf(z), 4))
print("棄却域の境界 =", round(50 - 1.96 * 5, 1), "以下 /", round(50 + 1.96 * 5, 1), "以上")
```

```
z = 2.0
両側p値 = 0.0455
棄却域の境界 = 40.2 以下 / 59.8 以上
```

同じ検定法を使い、境界を含めるかどうかをそろえれば、棄却域で判定してもp値で判定しても結論は一致します。検定統計量が臨界値を超えることと、p値がαを下回ることは同じ条件の言い換えで、手計算では棄却域、統計ソフトの出力ではp値を見るという違いにすぎません。ただしこの例は、正規近似をやめると結論が変わります。理由は後述の「離散分布における公称5%と実際の水準の乖離」で扱います。

## 5%が定着した経緯と0.005への引き下げ論争

### Fisherが1925年に書いた「便宜的」という一語

有意水準5%に統計理論上の必然性はありません。Cowles と Davis が American Psychologist 37巻5号（1982年）に発表した「On the Origins of the .05 Level of Statistical Significance」によれば、0.05を判定基準として明示した最初の記述は Fisher の1925年の著書 _Statistical Methods for Research Workers_ 47ページの次の一文です。

「It is convenient to take this point as a limit in judging whether a deviation is to be considered significant or not.（この点を、偏差が有意とみなされるかどうかを判断する限界とするのが便宜的である。）」

使われている語は convenient、便宜的です。さらに Fisher は1926年の論文「The Arrangement of Field Experiments」（Journal of the Ministry of Agriculture 33巻503-513ページ）で、他の水準も選べると明言しています（[Rothamsted Research が公開する原典PDF](https://repository.rothamsted.ac.uk/id/eprint/20740)）。

「If one in twenty does not seem high enough odds, we may, if we prefer it, draw the line at one in fifty (the 2 per cent. point), or one in a hundred (the 1 per cent. point).（20分の1では確率として十分でないと思うなら、望むなら50分の1（2%点）や100分の1（1%点）に線を引いてもよい。）」

5%を絶対の基準として扱う慣行は、提唱者本人の記述からすでに乖離しています。「5%は統計学が導いた値だ」という説明は原典に基づかない後付けです。

### Fisher以前における確率誤差3倍という慣行

同論文の主眼は、5%が Fisher より前から慣行として存在していたことの実証です。初期の有意性判断は**確率誤差（probable error, PE）**を単位に語られており、t分布を導出した Student（Gosset）の1908年の論文は13ページで「three times the probable error in the normal curve and for most purposes would be considered significant（正規曲線における確率誤差の3倍に相当し、たいていの目的で有意とみなされるだろう）」と書いています。

確率誤差は正規分布の第3四分位点に当たり、σを単位に直すと0.6745σです。その3倍がどの有意水準に相当するかは計算できます。

```
from scipy import stats

pe = stats.norm.ppf(0.75)
print("PE =", round(pe, 4), "sigma")
print("3PE =", round(3 * pe, 4), "sigma")
print("3PE に対応する両側p値 =", round(2 * (1 - stats.norm.cdf(3 * pe)), 4))
```

```
PE = 0.6745 sigma
3PE = 2.0235 sigma
3PE に対応する両側p値 = 0.043
```

確率誤差の3倍は2.0235σ、両側p値は0.043で、Fisher が1925年に書いた「標準偏差の2倍」（両側p値0.0455）とほぼ同じ位置を指しています。5%は Fisher の発明ではなく、既存の慣行を Fisher が定式化し直したものだ、というのが同論文の結論です。

### Benjaminら2018年の0.005提案と、その限定範囲

Benjamin ら72名は Nature Human Behaviour 2巻1号6-10ページの「[Redefine statistical significance](https://www.nature.com/articles/s41562-017-0189-z)」（2018年）で、既定閾値を0.05から0.005へ下げる提案を発表しました。0.005と0.05の間に収まった結果は「significant」ではなく「suggestive（示唆的）」と呼ぶべきだとしています。

この提案には、二次記事で落とされがちな限定句が2つ付いています。論文本文は「We restrict our recommendation to claims of discovery of new effects.（我々の推奨は新しい効果の発見の主張に限定する。）」「We do not address the appropriate threshold for confirmatory or contradictory replications of existing claims.（既存の主張に対する確証的または反証的な追試の適切な閾値については論じない。）」と明記しています。つまり**すべての検定を0.005にせよという提案ではありません**。追試や確立した効果の確認は適用範囲外です。

### Lakensら2018年の反論と標本サイズ70%増という代償

これに対し Lakens ら88名は、同誌2巻3号168-171ページの「[Justify your alpha](https://www.nature.com/articles/s41562-018-0311-x)」で反論しました。一律に0.005へ下げることが不適切な理由を3点挙げ、結論として「the term “statistically significant” should no longer be used（「統計的に有意」という語はもはや使うべきでない）」とし、新しい一律基準の採用ではなく、帰無仮説検定を使う研究者はデータ収集前にα水準の選択を正当化すべきだと述べています。

反論の中で最も実務に効くのはコストの提示です。同論文は、α=0.005で検出力80%を達成するには、α=0.05に比べて2群間比較の両側検定で標本サイズが70%多く必要になる（片側なら88%）と指摘しています。先の計算でt検定の1群64人が109人（1.70倍）になったのがこの70%で、正規近似の公式で比を取っても両側69.6%増・片側88.9%増と論文の数字に一致します。Lakens らは、原著研究が大型化すれば追試に回る資源が減るという副作用も問題にしています。

### 企業実務における有意水準の選択方針

企業のデータ分析では、Lakens らの立場を採り**案件ごとにαを決めて事前に文書化する**ほうが実利があります。理由は標本サイズです。α=0.005を課すと、人数を増やせない施策検証では検出力が下がり、検出したい効果を見逃す確率が高まります。0.005は Benjamin らが新しい効果の発見の主張に限って提案した水準で、施策検証の既定値として持ち込むものではありません。

一方で、既定値5%を無自覚に使い続けるのも支持できません。American Statistical Association が The American Statistician 70巻2号129-133ページ（2016年）で公表した「[ASA Statement on p-Values](https://www.amstat.org/asa/files/pdfs/P-ValueStatement.pdf)」の第3原則は「Scientific conclusions and business or policy decisions should not be based only on whether a p-value passes a specific threshold.（科学的結論やビジネス上・政策上の意思決定を、p値が特定の閾値を超えるかどうかだけに基づかせるべきではない。）」です。効果量と信頼区間を併記し、水準を選んだ理由を分析計画に残す。この2点に加えて検定の前提条件と多重性への対応を満たし、誤判定の損失に照らして説明できるなら、5%を選ぶこと自体は問題になりません。Webサイトの施策検証で、計測設計から判定基準までを見直す場合は[Webコンサルティング・アクセス解析](/service/web/consulting/)の支援範囲です。

## 有意水準の運用で起きる誤り

### 複数検定によるファミリーワイズエラー率の上昇

α=0.05の検定を独立に繰り返すと、どれか一つが偶然に有意になる確率は0.05を大きく超えます。この確率をファミリーワイズエラー率と呼びます。

```
for m in (1, 3, 10, 20):
    print("検定 %2d 回: 全体で誤検出する確率 = %.4f / ボンフェローニ後の水準 = %.5f"
          % (m, 1 - 0.95 ** m, 0.05 / m))
```

```
検定  1 回: 全体で誤検出する確率 = 0.0500 / ボンフェローニ後の水準 = 0.05000
検定  3 回: 全体で誤検出する確率 = 0.1426 / ボンフェローニ後の水準 = 0.01667
検定 10 回: 全体で誤検出する確率 = 0.4013 / ボンフェローニ後の水準 = 0.00500
検定 20 回: 全体で誤検出する確率 = 0.6415 / ボンフェローニ後の水準 = 0.00250
```

この計算は20個の検定が互いに独立で、かつすべての帰無仮説が真である場合の値です。その条件では実際に差がなくても64.15%の確率でどれかが有意になります。A/Bテストの複数指標は相関することが多くこの式は当てはまりませんが、多重性の調整が要る点は同じです。ボンフェローニ法はαを検定回数mで割る補正で、比較数が多いと保守的になります。誤検出を一つでも出す確率ではなく、棄却した仮説に占める誤検出の割合（偽発見率）を抑えれば足りる場面では、ベンジャミーニ・ホッホバーグ法を検討します。同法の保証には、検定が独立か所定の正の依存関係にあるという条件が付きます。

先の表の5×10\-8も、この補正の産物です。Pe’er らが Genetic Epidemiology 32巻381-385ページ（2008年）でヨーロッパ集団のゲノム全体を約100万回の独立検定と見積もったため、0.05を106で割った5×10\-8がゲノムワイド有意水準として定着しました。複数研究を統合する場面での扱いは[メタ分析（メタアナリシス）とは？やり方5ステップと異質性・出版バイアスの判断基準](/column/details/6777/)で整理しています。

### 離散分布における公称5%と実際の水準の乖離

冒頭の「上限値」という定義が効いてくるのがここです。JIS Z 8101-1:2015 の1.46注記2は、結果の離散性から公称値0.05が達成できない状況があるとし、二項分布の母数pの検定を例に挙げています。先のコイン100回の例を、正規近似ではなく二項分布のまま計算し直すと次のようになります。

```
from scipy.stats import binom, binomtest

n = 100
print("正確な二項検定の両側p値 =", round(binomtest(60, n, 0.5).pvalue, 4))
for c in (59, 60, 61, 62):
    alpha = binom.sf(c - 1, n, 0.5) + binom.cdf(n - c, n, 0.5)
    print("棄却域 X>=%d または X<=%d の第1種の過誤 = %.4f" % (c, n - c, alpha))
```

```
正確な二項検定の両側p値 = 0.0569
棄却域 X>=59 または X<=41 の第1種の過誤 = 0.0886
棄却域 X>=60 または X<=40 の第1種の過誤 = 0.0569
棄却域 X>=61 または X<=39 の第1種の過誤 = 0.0352
棄却域 X>=62 または X<=38 の第1種の過誤 = 0.0210
```

正規近似では有意だった「表60回」は、正確な二項検定ではp値0.0569で有意になりません（連続修正を入れた正規近似でも0.0574）。棄却域の第1種の過誤は0.0886、0.0569、0.0352と飛び、ちょうど0.05になる境界は存在しません。「上限値」と定義する規格に従えば、α=0.05を守る棄却域は表61回以上か39回以下で、実際の過誤確率は0.0352まで下がります。Excel では =2\*(1-BINOM.DIST(59,100,0.5,TRUE)) が正確なp値0.0569を、=BINOM.INV(100,0.5,0.975) が60を返し、それを超える61回以上が上側の棄却域です。p値が0.05付近の結果を、近似法か正確法かを書かずに「有意」と報告できないのはこのためです。二項分布そのものの性質は[ベルヌーイ分布と二項分布の違いとは？幾何分布・多項分布との関係と期待値・分散の公式](/column/details/4358/)で解説しています。

### データ確認後の水準・手法変更が生む誤り

p値が0.06だったので水準を0.10に上げる、両側で有意にならなかったので片側に切り替える、外れ値を除いて再計算する。いずれも第1種の過誤の確率を設定値どおりに制御できなくします。防ぐ手段は手続き上のもので、有意水準・検定手法・除外基準・標本サイズを分析計画として先に書き、日付とともに保存することに尽きます。標本の変動の大きさを見積もる考え方は[標準誤差の求め方とエクセルの計算式｜標準偏差・標本誤差との違い](/column/details/6471/)で扱っています。

## よくある質問

### 有意水準5%はどうやって計算するのですか？

有意水準5%は計算で出す値ではなく、データを取る前に分析者が決める値です。計算するのは、5%に対応する臨界値（標準正規分布の両側なら1.96）と、実データから出るp値です。検定統計量が臨界値を超えるか、p値が0.05を下回れば帰無仮説を棄却します。

### 有意水準5パーセントとはどういう意味ですか？

帰無仮説が正しいのに誤って棄却してしまう確率の上限を5%に設定した、という意味です。帰無仮説が真である状況で同じ手続きを多数回繰り返したときに第1種の過誤が起きる長期的な割合を最大5%に抑える設定であり、100回ごとに必ず5回誤るという意味でも、今回の結果が95%正しいという意味でもありません。

### 有意水準より大きいとはどういう意味ですか？

p値が有意水準より大きい状態を指し、帰無仮説を棄却できなかったことを意味します。差がないと証明されたわけではなく、今回のデータでは差があると言い切れなかったという留保付きの結論です。標本サイズが不足して検出力が足りなかった可能性が残ります。

### 有意水準1パーセントのときの臨界値は何ですか？

標準正規分布に従う検定統計量なら両側で±2.576、片側で2.326です。自由度19のt検定なら両側で±2.861です。Excel では =NORM.S.INV(1-0.01/2) や =T.INV.2T(0.01,19) で求められます。

### 有意水準と信頼水準はどう関係しますか？

信頼水準は1−αで、有意水準5%なら信頼水準95%です。95%信頼区間が帰無仮説の値（2群の平均の差なら0）を含まなければ、その値は有意水準5%の両側検定で棄却されます。この対応が保証されるのは、その両側検定を反転して作った信頼区間を使う場合です。二項分布のような離散分布では、検定と信頼区間の構成法が違うと判定が食い違うことがあります。

## 関連記事

- [有意差検定とは？有意差・p値の意味と検定の種類・やり方をわかりやすく解説](/column/details/6809/)
- [帰無仮説とは？棄却されない・できないときの結論と書き方、対立仮説との違い](/column/details/5730/)
- [ABテストとは？必要サンプル数の計算コードと検証期間・判定を誤らせる条件](/column/details/17286/)
- [標準誤差の求め方とエクセルの計算式｜標準偏差・標本誤差との違い](/column/details/6471/)
- [定量調査とは？定性調査との違い・手法とサンプルサイズの決め方](/column/details/6221/)

---

出典: [有意水準とは？決め方・求め方と5%の根拠、p値・有意確率との違い](<https://www.issoh.co.jp/column/details/6810/>)（株式会社一創）