回答誤差とは？標本誤差との違い・原因・Web調査での検知方法

回答誤差は、調査対象者から回答を得る過程で生じるズレを指します。厄介なのは、サンプル数を増やしても小さくならず、集計表を見ただけでは混入に気づけない点です。国内のWeb調査6,000名分を複数の検知手法で評価した研究では、全体の約34%が不適切回答者と判定されました。誤差全体のどこに位置するのか、何が原因で生じるのか、実務でどう検知し減らすのかを一次情報にもとづいて整理します。

まとめ

• 回答誤差（Response Error）は非標本誤差の一種で、データ収集段階、つまり対象者から回答を得るプロセスで生じます。標本抽出に由来する標本誤差とは発生箇所が違うため、全数調査でも起こります。
• サンプル数を増やしても回答誤差は減りません。サンプル数で小さくできるのは標本誤差だけです。
• 発生源は面接調査員誤差（聞き方・態度）と調査対象者誤差（社会的望ましさ、記憶の曖昧さ、サティスファイス）に分かれます。郵送か調査員かという調査モードの違いも誤差要因です。
• Web調査では、DQS・IMC・矛盾回答・連続同一回答・滞留時間の5系統を併用して検知します。DQS単独では、検知項目の存在に気づいた強いSatisficerを取り逃します。
• 回答誤差を含んだままの集計は相関を過大に見せます。ある調査では因子間相関が全データで r=.86、不適切回答者を除くと r=.77 に下がり、除外済みデータで実施された先行研究の値とほぼ一致しました。
• 除外候補を回答者の属性やモニタ歴で推測してはいけません。実測では、スマートフォン回答者や報酬目的の回答者のほうが不適切回答は少なく、通説と逆でした。

回答誤差の定義と、誤差全体のなかでの位置

回答誤差の定義と Response Error という呼称

回答誤差は英語で Response Error と呼ばれ、回答者が事実と異なる回答をすることで生じるデータのズレを指します。マーケティング・リサーチの用語辞典にもとづく定義では、データ収集段階における非標本誤差のひとつで、調査対象者から回答を得るプロセスで生じるものと位置づけられ、調査員に起因する面接調査員誤差と、回答者に起因する調査対象者誤差に分類されます。

要は「回答を得るプロセス」という限定が効いています。誰を選ぶかの抽出段階でも、回収した票を集計する処理段階でもなく、質問を提示して答えを受け取る一区間の誤差です。この境界が曖昧なまま言葉を使うと、無回答誤差や処理誤差まで一緒くたにして打ち手を誤ります。

標本誤差・無回答誤差・処理誤差との切り分け

統計調査の誤差は、まず標本誤差と非標本誤差に大別されます。標本誤差は母集団の一部だけを調べたことに由来する誤差で、標本調査に固有のものです。非標本誤差はそれ以外のすべてを指し、標本誤差が存在しない全数調査にも生じます。国土交通省が建築着工統計調査について公開している解説は、全数調査でありながら「提出者の誤回答、調査票を作成する都道府県の担当者の誤記載などにより誤差が発生する場合もあり、これを『非標本誤差』と言います」と明記しています。

同じ「回答が正しくない」ように見えても、回収そのものができなかったことに由来するズレは無回答誤差であり、回答誤差とは対策が別物です。回答者の属性が偏ることで生じる歪みについては無回答誤差とは何かを理解するための基本的な概念解説で扱っており、推定値のぶれ幅としての誤差は標本誤差とは何か？基本的な定義と統計学的な意味で整理しています。

サンプルサイズを増やしても回答誤差が減らない理由

「誤差が心配だからサンプルを増やす」という判断は、回答誤差に対しては空振りします。厚生労働統計協会の統計基礎知識は、標本誤差について「サンプル数が多い程標準誤差は小さくなり、逆に、サンプル数が少ない程標準誤差は大きくなります」と説明する一方、非標本誤差については「確率的な評価を行うことが困難であり、誤差を数値的に管理する対象とは一般的にはしない」としています。

理屈は単純です。標本誤差は偶然のばらつきなので、標本を増やせば平均に収束します。ところが回答誤差は、質問文の言い回しや回答の面倒くささといった調査票そのものに埋め込まれた要因から生じ、全員に同じ方向のズレを起こします。誘導的な設問を1万人に配れば、1万人分の偏ったデータが集まるだけです。標本を10倍にすれば、偏った推定値の信頼区間が狭くなり、誤った結論をより自信を持って提示してしまいます。増やす対象はサンプル数ではなく、設問設計にかける工数です。

回答誤差の発生源｜調査員側の誤差と回答者側の誤差

面接調査員誤差｜聞き方と態度による回答分布のブレ

調査員が介在する調査では、同じ調査票でも調査員によって回答分布が変わります。国土交通省の解説は測定誤差の一類型として「測定者である調査員の面接の拙さや委託先の質による誤差」を挙げています。読み上げの抑揚、補足説明の有無、回答を待つ間の相づちといった、調査票に書かれていない振る舞いが回答に影響するためです。対処は個人の技量に任せず手続きへ落とすこと。読み上げ文言を固定し、追加説明が要る箇所の想定問答を全調査員で共有したうえで、調査員ごとの回答分布を実査中に集計して外れ値を早期に確認します。

調査対象者誤差｜社会的望ましさ・記憶・サティスファイス

回答者側の要因で代表的なのは次の3つで、実務で最も見落とされるのは3つ目です。

• 社会的に望ましい方向へ寄せる：飲酒量や労働時間、寄付やリサイクルの実施率など、正直に答えると評価が下がりそうな項目で発生します。プライバシーへの懸念から意図的に事実と異なる回答をするケースも含みます。
• 記憶が曖昧で正確に答えられない：「過去1年間の購入回数」のように参照期間が長い設問ほど、思い出せずに概算で答えるため誤差が入ります。
• 回答の労力を最小限にする（サティスファイス）：Krosnick(1991) の定義では、設問内容を理解しようとせず中間回答やでたらめな回答をするのが「強いSatisfice」、内容は理解しているが回答選択肢を部分的にしか検討しないのが「弱いSatisfice」です。

社会的望ましさや記憶違いは設問内容から発生箇所を予測できます。ところがサティスファイスは調査票のどこでも起こり、回答値も正常な範囲に収まるため、集計表を眺めているだけでは見つかりません。検知の手立ては後段で扱います。

調査モードによる誤差｜郵送調査と調査員調査の差

同じ質問でも、届け方が変われば答えも変わります。国土交通省の解説は「測定条件である調査方法（郵送調査か調査員調査かなど）による誤差」を測定誤差の一つに数えています。実務上の含意は、途中でモードを変えたら時系列比較が成立しないこと。前年まで訪問面接、今年からWebに切り替えたなら、増減はモード変更の影響と実態の変化が混ざった量になります。切り替えるなら一時期は両モードを並行実施し、差分を把握しておくのが確実です。

Web調査に混ざる不適切回答の割合｜6,000名調査で約34%

不適切回答者の割合を測った国内研究

回答誤差につながる不適切回答が実際にどれくらい混ざるのかを測った国内研究があります。稲垣佑典・加藤直子・前田忠彦・立川雅司（2021）「Web調査における不適切回答行動の実態把握と対応策の検討」（『理論と方法』36巻2号）は、ゲノム編集など新育種技術の食品応用に関する意識調査を2018年3月に20〜69歳へ実施し（n=6,000）、18項目の検知の仕組みを組み込んで潜在ランク分析で回答行動を10段階にランクづけました。同論文はWeb調査では厳密に回収率を定義できないと断ったうえで、参加依頼61,340名に対する回収6,000を9.78%と記載しています。

結果は、ランク6以上に分類された2,041名、全体の約34%が不適切回答者。同論文はこの水準が尾崎・鈴木(2019)の30.5%、Oppenheimer, Meyvis & Davidenko(2009)の35〜46%という先行研究の割合と近いことにも言及しています。

ただしこの6,000名には、通常は納品されない「バッファ分サンプル」2,000名（調査会社が回答時間の相対的に短いものとして区分）が含まれ、テーマも説明を熟読しないと答えにくい高負荷なものでした。34%をそのまま一般的なWeb調査の水準と読むのは行き過ぎです。それでも3割前後という先行研究との一致は、この規模の混入が例外的な事故ではないことを示しています。

回答誤差を残した集計での相関の過大化

では、その3割を残したまま集計すると何が起きるのか。同論文は、検知項目に使っていない外部の尺度（文化資本尺度8項目）で2因子モデルの確認的因子分析を行い、因子間相関を比較しています。

全データの r=.86 は、不適切回答者を除いて実施された先行研究の r=.78 より明らかに高く出ています。同論文はこれを、不自然な連続同一回答が混じったことで相関が上昇したためと推察しています。つまり回答誤差は、値をランダムに散らして関係を見えなくするのではなく、本来より強い関係があるかのように見せる方向に働きました。相関係数を根拠に施策を決める調査ほど、この歪みは高くつきます。ただしランク3以上まで削ると r=.66 と今度は下がりすぎ、除外は多ければ良いというものでもありません。

回答誤差の検知手法｜DQS・IMC・矛盾回答・連続同一回答・滞留時間

5系統の検知手法と違反の判定基準

前掲研究が併用した検知の仕組みは、次の5系統です。いずれも調査票の設計時点で仕込む必要があり、実査後に思いついても手遅れになります。

DQSとIMCはどちらも「指示に従ったか」を見る仕組みですが、捕まえる行動が違います。同論文は、DQSが質問内容や選択肢を熟慮しない形式的な不適切回答を炙り出すのに対し、IMCは比較的長い教示を軽視して調査者の要請した手続きに従わないという、より本質的な行動を検知するものだと整理しています。連続同一回答はどの設問で起きやすいか事前に予測できないため、恣意的に絞り込まず全マトリクス設問をダミー変数化して扱われました。

DQS単独運用の限界｜強いSatisficerの取り逃し

検知項目を1種類だけ入れて済ませる運用は勧められません。同論文の項目参照プロファイルでは、3か所に置いたDQSのうち調査開始直後の1問目だけが「不適切回答ランクが高いほど違反確率も高い」という単調増加を示し、中盤・後半のDQSでは逆に高ランク層ほど違反確率が下がりました。説明ページの滞留時間も同様で、高ランク層が読み飛ばし群に分類される確率は低下しています。

同論文はこの動きについて、不適切回答の度合いが高い回答者（強いSatisficer）の一部が、一見して検知項目と分かるDQSの存在を感知すると以降はそこだけ指示に従い、連続同一回答や矛盾回答といった識別されにくい形で労力の最小限化を図った可能性を挙げています。断定は避けられていますが、含意ははっきりしています。検知項目と一目で分かる仕組みは、最も除外したい層にこそ回避される。教示を読まないと気づけないIMC、回答内容の矛盾、連続同一回答、滞留時間を組み合わせ、複数の観点から評価してください。

回答誤差の対策｜設問設計と回収後データの扱い

質問文と選択肢の設計で減らせる誤差

回答誤差の多くは調査票に起因するため、実査前に潰すのが最も費用対効果に優れます。国土交通省の解説も、測定誤差の一因として「調査票のデザインや言葉遣いによって回答者が質問を誤解したり懸念したりして事実と異なる記入をした場合の誤差」を挙げ、記入要領の充実で減らす努力をしていると述べています。優先順は次の通りです。

• 主観語を観測可能な行動に置き換える：「健康的な生活を送っていますか」ではなく「直近1週間で30分以上の運動をした日数」を聞けば、解釈の幅が消えます。
• 参照期間を短く区切る：記憶に頼る設問は期間を短くし、長期の把握が要るなら頻度で聞いて期間を掛けます。
• マトリクス設問を減らす：連続同一回答はマトリクス形式で起きます。前掲研究も、可能ならマトリクス式でない独立した設問にして連続同一回答を抑止する調査票構成を心掛けるべきだとしつつ、設問ページ増加による回答負担の増大というデメリットも勘案が必要だと注記しています。
• 逆転項目を混ぜる：同論文は、1因子構造が確実な尺度へ複数の逆転項目を導入すれば、連続同一回答・完全ランダム回答・パターン化回答が多発したときに因子構造が崩れるため探知できるとしています。外部基準を用意できない調査で有効な手です。
• パイロット調査で解釈を確かめる：本調査前に少数へ実施し、意図した通りに読まれているかを確認します。

除外基準の決め方｜外部指標による線引きの検証

回収後に不適切回答者を除外する場合、どこで線を引くかを恣意的に決めてはいけません。前掲研究は、検知項目には使っていない外部の尺度で分析結果を見ながら、除外するランクの範囲を動かして線引きを決めています。ランク6以上を除外したときに因子間相関が先行研究の値とほぼ一致し、そこに回答行動の分岐点があると判断しました。

この手順は、違反数だけで機械的に切る運用より安全です。DQSやIMCに1問違反しただけで即除外すると、うっかりの誤操作まで巻き込んで疑陽性が増えます。同論文も、一部の項目への違反から強いSatisficerと断じる従来方式について、項目内容や教示の重みが考慮されず非意図的・偶発的な誤操作への配慮もされていないと指摘しています。除外基準は外部の指標で結果が妥当な方向へ動くことを確認してから確定させてください。

回答者属性による推測の不成立

「スマホで答えている人は雑」「小遣い稼ぎ目的のモニタは信用できない」という通説は、実測データでは支持されませんでした。前掲研究の順序ロジスティック回帰（n=4,298、被説明変数は不適切回答ランク）のオッズ比は次の通りです。

報酬目当てに多くの調査へ参加する人ほど真剣に回答する傾向が出ており、モバイル端末利用者も従来型PCより不適切回答の程度が低いという結果でした。効きが大きかったのは科学リテラシーの正答数で、質問内容が回答者の回答能力を超えたときに不適切回答が起きるという Pasek & Krosnick(2010) の主張と整合します。

デバイスや協力理由で回答者をスクリーニングしても、回答誤差は減りません。減らしたいなら、対象者が理解できる語彙と構造で調査票を書くことです。なお同論文が引用する高橋・箕浦・成田(2017)は属性の効果が年度や調査会社間で一貫しないとも述べており、属性を除外基準に使う運用は再現性の面でも脆いといえます。

よくある質問

回答誤差と標本誤差の違いは何ですか？

発生する段階が違います。標本誤差は母集団の一部だけを抽出して調べたことに由来し、標本調査にのみ存在します。回答誤差は回答を得るプロセスで生じる非標本誤差の一種で、標本誤差が存在しない全数調査でも発生します。標本誤差は標準誤差として数値管理できますが、非標本誤差は確率的な評価が難しく、一般に数値管理の対象とはされません。

サンプル数を増やせば回答誤差は減りますか？

減りません。サンプル数で小さくできるのは標本誤差だけです。回答誤差は調査票側の要因から生じて全回答者に同じ方向のズレを起こすため、標本を増やしても偏りは残ります。むしろ信頼区間だけが狭くなり、偏った推定値をより確からしく見せてしまいます。

回答誤差は英語で何といいますか？

Response Error です。上位の枠組みでは非標本誤差（Non-sampling Error）に含まれ、同じ非標本誤差にはカバレッジ誤差や無回答誤差があります。調査票のデザインや調査員の技量、調査モードに由来する誤差をまとめて測定誤差（Measurement Error）と呼ぶ整理もあり、この場合の回答誤差は測定誤差とほぼ重なります。

アンケートのバイアスと回答誤差は同じものですか？

同じではありません。バイアスは誤差が一定方向に偏る性質を指す語で、回答誤差は発生段階で切り分けた誤差の種類です。回答段階で生じるバイアス（社会的望ましさバイアスなど）は回答誤差に含まれますが、回答が得られなかったこと自体に由来する無回答バイアスは含みません。無回答側の偏りは無回答誤差の解説を参照してください。

回収率が低いと回答誤差は大きくなりますか？

回収率が下がって直接大きくなるのは無回答誤差であり、回答誤差ではありません。ただし回収率を無理に引き上げようと督促を重ねると、答えること自体が目的化した回答が増え、回答誤差の側が悪化します。回収率の設計と回答品質の設計は分けて検討してください。回収率の目安と上げ方は回収率の計算方法と目安で解説しています。

関連記事

• 無回答誤差とは何かを理解するための基本的な概念解説
• 標本誤差とは何か？基本的な定義と統計学的な意味
• 回収率とは？アンケート調査での計算方法・目安・上げ方を解説
• 標本調査とは何か？基本的な概念と全体像をわかりやすく解説