質問文を読まないから、ネット調査は信用できない!?
「ネット調査、『手抜き』回答横行か」という報道は、質問に答えぬよう指示しても8割の人が答えたという実験結果に基づくものです。これは、ネットアンケート調査が信頼できないことを示すのでしょうか。信頼性確保のため、弊社が取っている対策をご紹介します。
先月末、インターネットアンケート調査の信頼を揺るがしかねない新聞記事が掲載されました。
ネット調査には「手抜き」回答が横行している!?
朝日新聞デジタルの「ネット調査、『手抜き』回答横行か 質問文読まずに…」という記事の冒頭には、以下のように書かれていました。
インターネットを使った意識調査で、回答者が質問文をきちんと読まずに「手抜き回答」している可能性がある――。そんな研究結果を、関西学院大の三浦麻子教授と国立情報学研究所の小林哲郎准教授がまとめた。ネット調査はマーケティングや学術研究で利用が広がっているが、ネットならではの課題もありそうだ。
インターネットアンケート調査を実施している会社2社で実験をしたところ、長い質問文の末尾で「以下の質問には回答せずに次のページに進んで下さい」と指示した「引っかけ質問」に、1社では51.2％、もう1社では83.8％の回答者が答えた、というのです。
弊社でも、インターネットアンケート調査をおこなっていますが、これまでの実績からは考えられないほど高い割合に衝撃を受けるとともに、具体的にはどのような調査をしたのだろうと気になりました。
記事の元になった心理学実験の論文
記事の元になったのは、「社会心理学研究」（第31巻1号）に掲載された「オンライン調査モニタのSatisficeに関する実験的研究」という論文です。Satisficeとは、「目的を達成するために必要最小限を満たす手順を決定し、追求する行動」のことで、この論文では「特に教示文や調査項目を読まずに回答するSatisficeに焦点を当てる」と説明されています。
この研究では、調査する側にとって望ましくない回答行動について明らかにするために、2つのデータを収集しています。1つは、教示文（質問文）をちゃんと読んで、指示どおりに行動する回答者がどの程度いるのか。もう1つは、「多数の項目からなるリッカートタイプの尺度項目」、つまり、いわゆるマトリックス形式の質問（共通の選択肢で、質問項目が異なる）の項目をちゃんと読む回答者がどの程度いるのかを測定しています。
答えなくていいのに答えた回答者が83.8％いた、というのは、1つ目のほうの結果です。論文中にもあるように、インターネットアンケート調査では、調査協力の謝礼として、各社独自のポイント、あるいは、少額の現金が回答者に支払われます。モニターパネルの中には実際、“ポイント稼ぎ”のために手抜きをして効率的に回答しようとする人が含まれることも事実です。弊社での経験では、大多数の方はきちんと回答してくださっている印象なのですが、本当にそんな手抜きをする人が8割にも上るのでしょうか…。
心理学実験用の質問
この実験調査で用いられた、回答者が教示文を読み、指示に従う（回答せずに次に進む）かどうかを調べた質問は以下のようなものでした：
みなさんは、この質問文を見て、どのようにお感じになるでしょうか。「人間の意思決定に関する」から「よろしくお願いします。」までの、1段落350字ほどの教示文、回答者は最初から最後まで読み、そしてその中の指示に従ってくれるでしょうか。
この論文によると、社会心理学の研究でよく利用されている5社を対象として、調査目的とすべての質問を提示して打診したところ、3社がこの質問は「モニタ（回答者）に不快感を与える」として断ったとのことです。弊社で市場調査のためにインターネットアンケート調査をするとしても、このように質問文が長いままインターネットアンケートを配信することはないでしょう（応じた2社も、調査の趣旨に賛同して、実験ということでこのままになさったのでしょうし）。
8割の人が手抜きをするというのは、あくまで社会心理学の実験結果なのです。
不良回答には2種類ある
弊社では、調査協力者が不正確に（不適切に）回答すること／したものを「不良回答」と呼び、そのような回答が集まらないよう、過去の経験から得たノウハウでアンケートを設計し、アンケート回収後には、そのような回答がないかチェックをし、集計対象からはずすようにしています。
一言で不良回答といっても、その中身は2つに分けることができます：
- ちゃんと答えようとしているのに、結果的に不適切な回答になってしまう（質問の設計がよくない）
- はじめから、ちゃんと答えるつもりがなく、意図的に不適切な回答をする（回答者の故意）
後者が「手抜き」ということになるのでしょう（論文中では、「誰にでも選択可能な選択肢を選んだり、あてずっぽうに選択したりする回答行動」「特に教示文や調査項目を読まずに回答する」強いSatisficeに焦点を当てています）。
上記の質問を見てみると、一見、普通に答えなければならない質問のように見えます。よく読めば「回答せずに次のページに進んで」と書いてあります。たしかに、質問文が長いために途中で読むのをやめた人もいるでしょう。しかし、社内のあるスタッフは、この教示を最後までちゃんと読んでも、最後の「以下の質問には回答せずに次のページに進んで下さい」の一文を、何かの手違いではないかと考えて回答した人もいるのではないか、と言っていました。
2つのパターンの不良回答を防ぐために、弊社でおこなっている工夫・対策の一例をご紹介します。
適切に回答してもらうための、アンケートの工夫
- 個別の質問での対策
-
- 質問文を簡潔にします。ニールセン博士がAlertboxで述べているように、人はWebページ上の文章を一言一句ていねいに読んだりしません。流し読みするものなので、それに対応したテキストにします。
- どうしても長くなる場合は、適宜改行を入れたり、重要なところは強調します。上記の質問文なら、もっとも重要な箇所を「以下の質問には回答せずに次のページに進んで下さい」などと色を変えたり太字にしたりします。
- アンケート全体での対策
-
- やる気がなくなるほど長いアンケートになることは避け、また回答者を疲労させないように、質問の順番や質問の仕方、あるいは質問画面のデザインやレイアウトにも工夫をします。
不正な回答を集計対象に含めないための対策
- アンケート全体での対策
-
- この実験と似たような感じでトラップ質問（「ここでは5番を選択してください」のような）を潜ませて、引っかかった人の回答は集計から除外します。
- ローデータのチェック
-
- 回答のローデータファイル（CSV形式など）を開いて、回答の内容や行動からおかしいと思われる回答者のデータを見つけたら、集計対象から除くようにしています。このチェックにもいくつかの観点があるのですが、ここでその手の内を明かしてしまうと、手抜きしようとする人に裏をかかれる恐れがありますので、詳細の説明は割愛します。
- パネルの質の維持
-
- チェックの結果、見つかった、悪質な回答者はブラックリストに入れ、以後アンケートを配信しないようにしています。
ネットアンケート調査の設計・集計には専門性が必要
株式会社イードでは、インターネットアンケート調査を数多く手がけています。クライアントからの依頼で調査することもありますし、特定分野のサービスや企業の顧客満足度を自主的に調査・発表する「イード・アワード」も実施しています。
また、手法としては、インターネットアンケートだけでなく、アンケートの郵送調査やCLT調査（会場でアンケートなどに答えてもらう）といった形式の定量調査も実施しており、調査設計から運営・集計・分析にいたるまで、適切な調査結果を出すためのノウハウを蓄積しています。
定量調査をご検討の際は、ぜひイードまでお問い合わせください。
イードへのお問い合わせ
イード（iid.co.jp）へ移動します
