キャリーオーバー効果とは、質問紙調査で前に置いた質問とその回答が、後の質問への回答を変えてしまう現象です。同じ質問でも、直前に何を聞いたかで回答の割合が6〜10ポイント動くことが、実際の世論調査で確かめられています。この記事では、調査票を作る人に向けて、実データの例、回答が近づく場合(同化効果)と離れる場合(対比効果)の違い、質問の並べ方、効果が出ているかを確かめる方法をまとめます。心理学の実験計画での意味と、広告分野で同じ言葉が指す残存効果(アドストック)も最後に区別します。
まとめ:キャリーオーバー効果の要点
- 定義:前の質問に答えたこと自体が、後の質問の回答傾向に影響すること。英語圏では文脈効果(context effect)や質問の順序効果(question order effect)とも呼ばれます。
- 実例:米Pew Research Centerの2008年の調査では、大統領の仕事ぶりを聞いた直後に国の現状への満足を聞くと「不満」が88%、その質問が無いと78%でした。
- 2つの向き:後の回答が前の回答に近づく同化効果と、離れる対比効果があります。どちらが出るかで、対策の向きも変わります。
- 並べ方の基本:一般的な質問から具体的な質問へ(ロート型)、全体評価や純粋想起は個別の質問より前、属性やプライバシーに関わる質問は最後に置きます。
- 緩衝質問の限界:関係の無い質問を間に挟んでも効果は消えるとは限らず、向きが対比から同化へ逆転した実験もあります。
- 確かめ方:調査票を質問順だけ変えた2版に分け、回答者を無作為に振り分けて結果を比べます(スプリットバロット)。
キャリーオーバー効果の定義と順序効果・文脈効果との関係
総務省統計局の学習サイト「Data StaRt」は、調査票の作り方の章で、キャリーオーバー効果を「先の質問に答えること自体によって、後の質問への回答傾向に影響が出ること」と説明し、影響が出そうな質問は離して配置するか、順番を入れ替えるよう勧めています。
用語は分野と時代で揺れます。佛教大学の山口洋による論文「キャリーオーバー効果をめぐる二つのジレンマ」(社会学部論集41号・2005年)は、日本の概説書の定義を「前の質問とその回答によって後の質問への回答が影響を受けること」とまとめたうえで、英語圏ではほぼ同じ意味で文脈効果(context effect)が使われ、その一類型を特にキャリーオーバー効果と呼ぶ場合があると整理しています。「もちこし効果」という訳語もあります。
同じ論文は、質問の順序効果とキャリーオーバー効果を区別すべきだとも書いています。順序を入れ替えて賛成率が動くなら、それは目に見える順序効果です。しかし、前の質問に引きずられて質問同士の相関だけが強まる、あるいは弱まる場合、賛成率の差には現れません。調査票の上では見えないまま分析結果を変えるため、相関や因子分析を使う調査ほど注意が要ります。
キャリーオーバー効果の具体例:実際の調査で回答が動いた数値
公的な教材の設問例と、質問順だけを変えて比べた米国の世論調査の結果を挙げます。
統計局の設問例:少子化と財政危機の前置きによる子育て予算の賛否の偏り
Data StaRtの教材は、同じ「他の予算を削減してでも、〇県の子育て支援施策に、より多くの予算をあてるべきか」という質問の前に、何を聞くかで結果が逆向きに偏る例を示しています。
- 直前に「〇県で少子化が進行していることを知っていますか」と聞く → 賛成率が偏って高く出る(プラスに働く例)
- 直前に「〇県で財政危機が指摘されていることを知っていますか」と聞く → 賛成率が偏って低く出る(マイナスに働く例)
前の質問は「知っているか」を聞いているだけで、意見は聞いていません。それでも、後の質問に答えるときに思い浮かぶ材料が変わります。企業の顧客調査で「当社の新しい環境方針を知っていますか」と聞いた直後に購入意向を聞く並びは、この例と同じ形をしています。
Pewの調査:大統領支持の直後に聞くと国への不満が88%対78%
米Pew Research Centerは質問作成の手引きで、自社の世論調査に組み込んだ質問順の実験を公開しています。2008年12月の調査では、「ブッシュ大統領の仕事ぶりを支持するか」の直後に「この国の現状に満足か」を聞くと「不満」が88%、直前の質問が無いと78%でした。2004年12月にも同じ方向の差(57%対51%)が出ています。大統領支持のほうは、どちらを先に聞いても大きくは変わりませんでした。
2003年10月の調査では、同性カップルに婚姻と同じ権利を認める法的な取り決めへの賛成が、同性婚そのものの賛否を聞いた後だと45%、その質問が前に無いと37%でした。同性婚の賛否のほうは、順番で有意には変わっていません。Pewはどちらも、順番によって回答の差が広がる対比効果の例として挙げています。
ギャラップの調査:政治家の評価に現れた同化効果と対比効果
山口(2005)は注5で、米ギャラップの1997年の調査をMoore(2002, Public Opinion Quarterly 66巻)が分析した例を紹介しています。表の数値は山口(2005)の記載によります。「誠実で信頼に値すると思うか」を2人について続けて聞いたところ、次のようになりました。
| 調査(1997年) | 人物 | 先に聞いた場合 | 後に聞いた場合 |
|---|---|---|---|
| 9月 | クリントン | 50% | 57% |
| 9月 | ゴア | 68% | 60% |
| 3月 | ギングリッチ | 41% | 33% |
| 3月 | ドール | 60% | 64% |
2人の差は、それぞれを先に聞いた場合と後に聞いた場合で、クリントンとゴアが18ポイントから3ポイントに縮み、ギングリッチとドールは19ポイントから31ポイントに開きました。正副大統領だったクリントンとゴアは同僚と受け取られて評価が近づき、ギングリッチとドールは比べる相手と受け取られて離れた、というのが山口(2005)の解釈です。
認知度調査:助成想起の先行による純粋想起への影響
ブランド認知の調査では、純粋想起と助成想起の質問順に注意が必要です。手がかり無しで「洗剤といえば何を思い浮かべますか」と聞く純粋想起と、ブランド名のリストを見せて「知っているものを選んでください」と聞く助成想起があり、リストを先に見せると、その名前が後の純粋想起の回答に出てきます。クエストリサーチの解説も、認知度調査では純粋想起から助成想起の順に聞くことを鉄則としています。広告効果の測定で純粋想起率を指標にしているなら、この順番を逆にすると、得られた値を手がかりなしの純粋想起率として解釈できなくなります。
同化効果と対比効果:回答が近づくか離れるかを分ける仕組み
キャリーオーバー効果は、Schuman と Presser(1981)以来、2つの向きに分けて論じられてきました。後の回答が前の回答に近づくのが同化効果(整合効果とも呼ばれます)、離れるのが対比効果です。
| 向き | 何が起きるか | 起きやすい並び | 上の例 |
|---|---|---|---|
| 同化効果 | 後の回答が前に近づく | 同じ側の対象を続けて聞く | クリントンとゴア |
| 対比効果 | 後の回答が前から離れる | 比べられる対象を続けて聞く | 大統領支持と国への不満 |
| 対比効果 | 全体評価から個別分が抜ける | 個別の質問の後に全体の質問 | 結婚生活の幸福と全体の幸福 |
向きが分かれる理由は、社会心理学の包含・除外モデルで説明されます。Bless と Schwarz の解説論文(Advances in Experimental Social Psychology, 2010)によると、前の質問で思い浮かんだ情報を判断する対象の中身に含めると同化効果が、対象から除いたり比べる基準に使ったりすると対比効果が生じます。
表の3行目は、実務で特に踏みやすい形です。Pewの手引きは、例外もあるとしたうえで、結婚生活の幸福を聞いてから人生全体の幸福を聞くような「具体から一般へ」の並びは対比効果を生みやすく、回答者は同じことを二度答えないよう、一般的な質問から具体的な質問の分を除いて考える傾向があると説明しています。顧客満足度調査で「価格」「品質」「サポート」の満足度を聞いた後に「総合満足度」を聞くと、総合満足度は個別項目で答え済みの要素を除いた評価になりかねません。
この「同じことを二度言わない」という会話の規範を示した実験として、山口(2005)は Strack・Schwarz・Wänke(1991)を紹介しています。マンハイム大学の学生45人に幸福感と生活満足感を聞いたところ、別々の調査票に分けて聞くと2問の相関は0.96でした。「次にあなたの生活について二つお伺いします」という導入文を付けて同じ調査票に並べると、相関は0.75に下がりました。並べて聞かれた回答者は、2問の違いを探して答えたと解釈されています。
キャリーオーバー効果を抑える質問順序の決め方
質問を一列に並べる以上、どれかが先になり、影響をゼロにはできません。山口(2005)が引く盛山(2004)の言葉どおり、目標は効果を無くすことではなく、適切なものにすることです。並べ方の基本として、全体評価の配置、依頼文、属性質問、ランダム化を取り上げます。
全体評価・純粋想起の先行配置
総合満足度、全体の幸福感、純粋想起のように「全体」や「手がかり無し」で聞きたい質問は、個別の質問より先に置きます。統計局の教材もロート型(広く漠然とした質問から、狭く具体的な質問へ進む並べ方)を基本としています。同教材が挙げる理由は、回答者が問題の概要を把握してから詳細に答えられることです。統計WEBのコラムは、「〇〇が好きですか」と「〇〇が▲▲であることを知っていますか」のように因果関係が成り立つ質問同士では、結果にあたる好き嫌いを先に聞くよう勧めています。
依頼文・調査タイトルに含めてはいけない調査仮説
キャリーオーバー効果は、質問と質問の間だけで起きるわけではありません。統計WEBの同じコラムは、依頼の挨拶文に調査の仮説や質問者の意図をにおわせる文を入れること、タイトルに入れることも厳禁としています。「血液型と性格についてのアンケート」という表題は、表紙の時点で回答者に仮説を渡しています。競合比較を行う調査では、依頼文による調査主体の提示が回答に影響しないか、プリテストで確認します。
属性・収入に関する質問の後方配置と例外
収入、学歴、政治的な意識のように抵抗を感じやすい質問を冒頭に置くと、警戒感が後の回答にまで残ります。統計局の教材も、冒頭には答えやすい質問を置き、性別や出生年などの基本属性は最後のページでまとめて聞くことが多いとしています。ただし、回答対象者を絞るスクリーニングに属性が要る場合は、その項目だけ先に聞きます。
順序に意味のない質問群のランダム化
並べる順番に意味が無い質問や選択肢は、回答者ごとに順番を入れ替えます。Pewの手引きは、ランダム化しても前の質問の影響そのものは消えないが、その偏りを全ての質問に無作為に散らせると説明しています。設定方法と、ランダム化してはいけない尺度・選択肢はランダマイズの使い方で扱っています。選択肢の並びで起きる偏りは、Web調査では上ほど選ばれやすい初頭効果、電話調査では後ろほど選ばれやすい親近効果として別に知られています。
緩衝質問を挟めば消えるわけではない理由
影響し合いそうな質問の間に、関係の無い質問(緩衝質問・バッファ項目)を挟む方法は、キャリーオーバー効果への対策の一つです。ただ、その効き目は一定ではありません。山口(2005)が引く Wänke と Schwarz(1997)のレビューでは、緩衝質問で効果が有意に弱まった研究、弱まったが有意ではなかった研究、全く弱まらなかった研究が混在していました。
向きそのものが変わった実験もあります。山口(2005)の紹介によると、Ottati らの1989年の研究は、イリノイ大学の政治学専攻の学生約1,000人に、PTA や KKK(クー・クラックス・クラン)といった特定の集団の表現の自由への賛否を聞いた後、表現の自由一般への賛否を聞きました。2問を続けて聞くと対比効果が出て、好感度の低い集団の後のほうが一般への賛成が高くなりました。間に8問の緩衝質問を挟むと同化効果に変わり、好感度の高い集団の後のほうが賛成が高くなりました。緩衝質問は効果を消したのではなく、向きを逆にしただけでした。同研究の抄録(Journal of Personality and Social Psychology 57巻3号)によると、感情で判断するよう指示した条件では、離しても続けても対比効果が出ました。
この結果から、次のように判断します。
- 同じ構成概念を測る類似項目(満足度の下位尺度、心理尺度の項目群)は、既存尺度なら所定の実施手順に従います。新規に作る尺度では、まとめて提示する構成を候補とし、項目の解釈や相関への影響をプリテストで確認します。並べて聞くと回答者が項目ごとの違いを意識して答え、山口(2005)はこれをむしろ望ましい効果と見ています。
- 判断の材料を与える質問と、意見を聞く質問(「少子化を知っているか」と「予算を増やすべきか」)は、緩衝質問より先に、意見の質問を前に置けないかを考えます。挟むだけで影響が消えるとは限らず、同化効果が残る場合もあります。
- どうしても順番を決められないときは、緩衝質問で済ませず、次の章の方法で2つの順番を両方試します。
緩衝質問を足すと調査票が長くなり、関連する質問も散らばります。山口(2005)は、そこから回答意欲の低下という副作用が生じる危険も挙げています。
キャリーオーバー効果が出ているかを確かめる方法
キャリーオーバー効果は、予想した方向に出るとは限りません。ギャラップの例のように、同じ「続けて聞く」並べ方でも向きは逆に出ます。重要な質問ほど、配信前か配信中に確かめておくべきです。
スプリットバロット:質問順の異なる2版への無作為割付
調査票を、質問順だけが違うA版とB版に分け、回答者を無作為にどちらかへ振り分けて、対象の質問の回答分布を比べます。上で挙げたPewの数字は、調査の中に組み込んだこの種の実験で得たものです。Webアンケートならブロック単位のランダム化で同じ設計を組めます。比較前に各版の必要回答数と差の評価方法を決め、結果は差の大きさと不確実性を併せて確認します。本番の質問順は測定目的に照らして選び、報告書に割付方法、各版の回答数、質問順を記載します。
継続調査における質問文と前後の文脈の統一
Pewの手引きは、時系列で変化を測るときは同じ質問文を使い、質問票の中の位置にも気を配って、以前と似た文脈で聞くよう求めています。同社の報告書には、質問文と順番をそのまま載せた調査票が付いています。毎年の顧客満足度調査で、今年だけ前に新しい質問を足すと、満足度の変化が顧客の変化なのか質問順の変化なのか区別できなくなります。
プリテストによる回答過程の確認
集計では打ち消し合って見えない個人レベルの影響は、少人数に答えてもらいながら、どう考えて答えたかを聞き取る方法で拾えます。山口(2005)も、量的調査の前の質的なプリテストを勧めています。聞き取りの技法はコグニティブインタビューにまとめています。
Web・紙の自記式調査における後続質問からの影響
自記式の調査票では、回答者が先に全体を読んだり、戻って前の回答を直したりできます。山口(2005)は、井垣(1968)や Schwarz と Hippler(1995)を引き、後に置いた質問が前の質問の回答に影響する場合もあると指摘しています。Webアンケートで戻るボタンを許すかどうかは、この影響を許すかどうかの判断でもあります。
心理学・実験計画法でのキャリーオーバー効果
心理学の実験計画では、同じ参加者に全ての条件を順に体験させる被験者内計画で、前に体験した条件が後の条件での反応に影響する現象もキャリーオーバー効果と呼びます。ジェームズクック大学の心理学研究法の教科書「9.2. Experimental Design」は、これを順序効果の一種としてのキャリーオーバー効果と呼び、次の3つを挙げています。
- 練習効果:課題に慣れて、後の条件ほど成績が上がる
- 疲労効果:疲れや退屈で、後の条件ほど成績が下がる
- 文脈効果(対比効果):前の条件と比べてしまい、判断が変わる。魅力的な被告人を先に評価すると、次の平均的な被告人への評価が厳しくなる、といった例です
統制の基本はカウンターバランスです。条件がAとBの2つなら、参加者の半数をA→B、残りをB→Aにします。全ての順番を使う完全カウンターバランスは、条件が4つなら24通り、5つなら120通りに増えます。各条件が各提示位置に1回ずつ現れるラテン方格を使えば、4条件では4通り、5条件では5通りに減らせます。ただし、各提示位置の均等化だけでは、直前の条件による持ち越し効果まで均等化できるとは限りません。同じ教科書は、順番によって結果が変わったかを分析すれば、キャリーオーバー効果そのものを検出できるとも書いています。
カウンターバランスで打ち消せるのは、A→BとB→Aで持ち越しの大きさが同じ(対称な)場合です。David Lane の統計解説 HyperStat も、カウンターバランスは対称なキャリーオーバー効果の統制に使えると書いています。偏見を減らす介入の効果を測る実験のように、一度受けた条件が後の条件の反応を元に戻らないほど変えてしまうなら、被験者内計画は使えず、条件ごとに別の参加者を割り当てる被験者間計画を選びます。
ダブルバーレル質問・誘導質問との違い
キャリーオーバー効果は質問と質問の並びが原因の偏りです。1問の中身が原因の欠陥とは、直し方が違います。
「価格と品質に満足していますか」のように1問で2つを聞くのはダブルバーレル質問、「この便利な機能に満足していますか」のように答えを一方へ促すのは誘導質問で、どちらも設問単体の言葉づかいの問題です。言葉の選び方はワーディングでまとめています。設問を単独で読んでも欠陥が残るかという点と、前後の質問を変えると回答が変わるかという点を分けて確認します。設問単体の欠陥とキャリーオーバー効果が同時に生じる場合もあります。
広告の「キャリーオーバー効果」とアドストック
マーケティングでは、キャリーオーバー効果は広告の残存効果を指します。テレビCMなどを出稿した週が終わっても効果がすぐには消えず、翌週以降の売上や認知にも残る現象です。この残り方を「時間とともに減っていく重み」として式にしたものがアドストック(adstock)で、広告費の効果を推定するマーケティング・ミックス・モデリング(MMM)で使われます。
たとえば Google のオープンソースのMMM「Meridian」のドキュメントでは、幾何級数的減衰を w(s; α) = αs(α は0〜1の減衰率、s は遅れた期間)と定め、効果が期間の後半まで続くチャネルには二項減衰を勧めています。Meta のMMM「Robyn」の解説は、幾何級数的アドストックの θ = 0.75 を「第1期間の広告の75%が第2期間へ持ち越される」設定と説明しています。
| 分野 | 意味 | 扱い方 |
|---|---|---|
| アンケート調査 | 前の質問が後の回答を変える | 順序の設計で抑え、2版で測る |
| 心理学の実験計画 | 前の条件が後の条件に持ち越される | カウンターバランスで統制 |
| 広告・マーケティング | 出稿後も残る広告効果 | アドストックで推定し配分に使う |
調査や心理実験では、測定目的を妨げるキャリーオーバー効果を統制します。広告では、出稿後に残る効果を推定して配分判断に使います。同じ言葉でも向き合い方が逆なので、資料を読むときはどの分野の話かを先に確かめてください。
質問の分岐、2版の振り分け、ブロック単位のランダム化を自社の調査に合わせて組みたい場合は、アンケート管理システム開発でご相談いただけます。
よくある質問
キャリーオーバー効果とは何ですか?
質問紙調査で、前の質問とその回答が、後の質問への回答を変えてしまう現象です。総務省統計局の教材は「先の質問に答えること自体によって、後の質問への回答傾向に影響が出ること」と説明しています。英語圏では文脈効果や質問の順序効果とも呼ばれます。
キャリーオーバー効果の具体例は?
Pew Research Centerの2008年の調査では、大統領支持を聞いた直後に国の現状への満足を聞くと不満が88%、その質問が無いと78%でした。統計局の教材には、少子化を知っているかを先に聞くと子育て予算の賛成率が高く出て、財政危機を先に聞くと低く出る例があります。
アンケート調査でダメな例は?
主張したい結論の材料になる事実を先に聞いてから意見を聞く並べ方、個別の満足度を聞いた後に総合満足度を聞く並べ方、ブランドのリストを見せてから純粋想起を聞く並べ方が典型です。1問で2つを聞くダブルバーレル質問や、答えを促す誘導質問も避けます。
心理学におけるキャリーオーバーとは?
同じ参加者に複数の条件を順に体験させる被験者内計画で、先の条件の学習・疲労・慣れなどが後の条件に持ち越されることです。条件の提示順を参加者ごとに入れ替えるカウンターバランスや、ラテン方格で統制します。
キャリーオーバー効果と順序効果の違いは?
ほぼ同じ意味で使われますが、山口(2005)は区別すべきだとしています。順序を入れ替えて賛成率が動くものが順序効果で、キャリーオーバー効果には、賛成率は変わらず質問同士の相関だけが変わる見えにくい影響も含まれます。