優れたアンケート質問の書き方：10のベストプラクティス
優れたアンケートを作成するのは、案外難しいものだ。方法に適した質問を作成し、バイアスを最小限に抑える表現にすることで、正確で信頼できるデータを確保しよう。
アンケート調査について、さらに詳しくは、我々の1日トレーニングコース「Survey Design and Execution」にて。
残念ながら、偏りのない優れたアンケートを作成するためのシンプルな公式は存在しない。
とはいえ、アンケートの作成には、注意すべき点を知っていれば避けられる、よくある間違いがあることも確かだ。以下では、アンケートを作成する際に陥りやすい、最も一般的で危険な10の誤りと、それを避けるためのガイドラインを紹介する。
1. 適切な質問をする
回答が必要な質問だけにする
アンケートを作成する際に陥りやすい罠の1つは、質問内容を増やしすぎることだ。結局のところ、あなた方はユーザーに質問するこの一度きりの機会を最大限に活用したいのだろう？
しかし、アンケートで最も重要なことは、アンケートを短くすることである。調査課題への答えを得るために必要不可欠なことだけを尋ねよう。絶対に必要な情報でなければ、省略しよう。
答えが見つかるような質問はしない
アンケートの草案を作成するとき、多くのリサーチャーは何も考えずに、人口統計学的な質問を大量に作ることから始める。自問してみよう。その人口統計学的情報はすべて必要なのだろうか。調査課題への回答を得るために使うのか。仮に利用するとしても、アンケートで質問する以外にその情報を得る方法はないのか。たとえば、現在の顧客にアンケートを実施していて、彼らがメールアドレスを提供しているのであれば、必要に応じて彼らの人口統計学的情報を調べればいいのではないか。
回答者が正確に答えられない質問はしない
アンケートは、定量的な態度データを収集するのに適している。もし、定性的なことや行動に関することを知りたいのであれば、もっと適した方法があるはずだ。アンケートでそのような質問をすることは、よくてもプロセスの効率を低下させ、最悪の場合、信頼性に欠ける、あるいは誤解を招くデータを生み出す恐れがある。
たとえば、以下の質問について考えてみよう：
⛔️回答が不可能
あるWebサイトでボタンを目立たせるにはどうしたらいいでしょうか。
もし私がこの質問をされたら、どうすればボタンが目立たせることができ「そう」かについて想像するしかない。たとえば、サイズを大きくするなどだろうか。あるいは、周囲のコンテンツと色を変えてみるか。しかし、これは単なる推測に過ぎない。そのボタンが実際に私にとって目立って見えるかどうかを判断する唯一の確実な方法は、ページをモックアップにして私に見せることだろう。この種の質問は、ユーザビリティテストやA/Bテストなど、他の調査方法で調べるほうがよく、アンケートでは難しい。
2. 中立的で自然で明確な言葉を使う
回答者にバイアスをかけないようにする
アンケートデータにバイアスが入り込む余地は無限にあり、このバイアスをできるだけ少なくすることはリサーチャーの責務といえる。たとえば、以下の質問の表現について考えてみよう。
⛔️ バイアスのかかった質問
私たちは5つ星の満足度を達成することに全力で取り組んでいます。満足度はいかがでしたか。
- ★
- ★★
- ★★★
- ★★★★
- ★★★★★
この組織が「5つ星の満足度を達成することに全力で取り組んでいる」というコンテキストを最初に提供することで、アンケート作成者は、実質的に、満足度に5つ星を付けるように回答者に訴えかけている。そのため、回答者は、この経験がそれほど素晴らしくなかった場合、正直な回答をすることに罪悪感を持つ恐れがある。
また、「満足度」という言葉が使われていることにも注意する必要がある。この表現によって、参加者に自分の経験が満足のいくものだったと思い込むフレーミング効果が生じるように微妙にバイアスをかけているからだ。
この質問を別の表現に変更するのであれば、1つ目の文を完全に削除し、単に回答者にそこでの経験についての評価をしてもらえばよい。
自然で親しみのある言葉を使う
アンケートを作成する際には、専門用語に対して常に気をつけなければならない。回答者が質問や回答の選択肢を理解できない場合、データセットに悪いデータを取り込むことになるからだ。アンケートの質問は短くシンプルにするよう努力すべきだが、複雑なテーマについて質問するとき、場合によっては、短い定義や説明を提供し、誤解を防ぐ必要がある。必ずターゲットオーディエンスに質問票のパイロットテストをしてもらい、専門用語が一切含まれていないことを確認しよう。
人と話すように回答者に質問する
質問票を作成しようとすると、なぜか、質問文を不必要に堅苦しくしたり、華美な表現を取り入れようとするリサーチャーは多い。このような衝動に負けてはならない。インタビュー形式で質問するときのように、質問はできるだけ明確かつシンプルに表現しよう。
3. 回答者に行動を予測させない
人は、自分自身の行動を予測することに関して、あまり当てにならないことで有名だ。さまざまな理由から、こうした予測には必ずといっていいほど誤りがある。そのため、ヤコブ・ニールセンは、ユーザーの声に耳を傾けてはならないと我々に注意を促している。
しかしながら、考え抜かれていないUXアンケートには、行動を予測させるような依頼があふれかえっている。次の質問について考えてみよう。「この製品を使用する可能性はどのくらいありますか」。回答者は、説明や簡単なチュートリアルを見て、製品を使う可能性があると思うかもしれないが、彼らの回答は信頼できる予測にはならないし、それを製品についての重要な意思決定を行う際に利用すべきではない。
未来の予測の依頼ではなく、次のような、現在の推定の依頼を目にすることもよくある。「現在、平均的な週にどれくらいの頻度でこの製品を使用していますか」。このような質問は予測の問題は回避しているが、依然として信頼性には欠ける。ユーザーが架空の「平均的な」週をベースに回答を推定するのに苦労し、代わりにより記憶に残りやすい外れ値の週のことを思い出すことがよくあるからだ。
このような質問をするには、次のように、最近の具体的な記憶を尋ねるのが一番だ。「過去7日間にこの製品をおよそ何回使用しましたか」。正確な回数ではなく、「およそ」という言葉を入れ、範囲で答えられるようにすることが重要である。過去の行動の回数について正確に答えることは、困難だったり不可能であることが多いため、それを求めると、データが不正確になってしまうからだ。また、回答者は質問に正確に答えられないと感じると、そのアンケートを途中でやめてしまう可能性が高い。
⛔️ 未来の予測
この製品を使用する可能性はどのくらいありますか。
⚠️ 現在の推定
現在、平均的な週にどれくらいの頻度でこの製品を使用していますか。
✅ 過去の推定
過去7日間にこの製品をおよそ何回使用しましたか。
4. クローズドエンド型の質問に重点を置く
アンケートは、本質的には定量的な調査手法だ。クローズドエンドの質問（多肢選択式や評価尺度による質問など）に依存し、定量データを生成する。さらに、アンケートは、質的データを作成するために、オープンエンドの質問（短文や長文で回答する質問など）を活用することも可能だ。とはいえ、最良のアンケートは、ほとんどが定量的なデータに定性的な色彩と裏づけを与えるためにオープンエンド型の質問をいくつか加えた、クローズドエンド型の質問を基本としている。
したがって、もし、アンケートがオープンエンドの質問に過度に依存しているようであれば、それは別の定性調査手法（インタビューなど）のほうが調査の目的に適しているという危険信号かもしれない。
オープンエンドのアンケート質問に関していうと、多くの場合、質問票の最後に1つだけオープンエンド型の広範な質問を入れるのが賢明だ。回答者は、アンケートを開始するときに、問題やフィードバックの内容を思い浮かべており、単に適切な質問が出てくるのを待っているだけであることが多々あるからである。こうした質問がない場合、回答者は残念な気分でアンケートを終えてしまうことになる。最後に、「他にも何かご意見はありませんか」のような促し文句を入れた長文回答の任意の質問を設けることで、こうしたフラストレーションを解消し、潜在的で貴重なデータを得ることができる。
5. 二重質問を避ける
二重質問とは、回答者に一度に2つのことを回答させる質問のことで、「このWebサイトはどの程度使いやすく、直感的に操作できましたか」のようなものだ。「使いやすさ」と「直感的な操作性」は関連があるが、同義語ではない。したがって、この質問は、1つの評価尺度で同時に2つの異なる側面からWebサイトを評価するように回答者に求めている。必然的に、回答者はこれらの言葉のどちらかに焦点を当てるか、または両方を評価して中間の「平均」スコアを概算しようとする。そして、そのどちらであっても、データは完全に正確で信頼できるものにはならない。
そのため、二重質問は常に避けなければならないし、そうではなく、2つの別々の質問に分けるべきである。
⛔️ 二重質問
このWebサイトはどの程度使いやすく、直感的に操作できましたか。
✅ 分割された質問
このWebサイトはどの程度使いやすかったですか。
このプロセスはどの程度直感的だと感じましたか。
6. バランスのとれた評価尺度を用いる
評価尺度を用いた質問は、アンケート調査において定量的なデータを作成する上で極めて重要だ。多くの場合、回答者は、同意尺度（例：「非常にそう思う、そう思う、どちらでもない、そう思わない、まったくそう思わない」）、または形容詞の尺度（例：「非常に良い、良い、普通、やや悪い、悪い」）を使って何かを評価するよう求められる。
お気づきの通り、上記の例ではどちらも、肯定的な選択肢と否定的な選択肢が同数（2つずつ）あり、その間に中立的な選択肢が置かれている。肯定的な選択肢と否定的な選択肢の数が等しいということは、回答尺度のバランスがとれているということで、バイアスや誤りの原因になりうるものが排除されているということなのである。
一方、バランスのとれていない尺度では、肯定的な選択肢と否定的な選択肢の数が不均等になっている（例：「最高、非常に良い、良い、悪い、非常に悪い」）。この例では、肯定的な選択肢は3つあるが、否定的な選択肢は2つしかない。したがって、この場合、参加者が肯定的な選択肢を選択するようにバイアスがかかっているということになる。
⛔️ バランスがとれていない
このWebサイトを利用してみての感想を教えてください。
- 最高
- 非常に良い
- 良い
- 悪い
- 非常に悪い
✅ バランスがとれている
このWebサイトを利用してみての感想を教えてください。
- 非常に良い
- 良い
- 普通
- やや悪い
- 悪い
7. 回答選択肢を包括的かつ相互排他的にする
多肢選択質問の選択肢は、考えられるすべての答えが入っていて（すなわち、包括的）、かつ重複してはならない（すなわち、相互排他的）。たとえば、以下の質問について考えてみよう：
⛔️回答の選択肢の省略と重複
あなたの年齢を教えてください。
- 0～20歳
- 20～30歳
- 30～40歳
- 40～50歳
ここでは、想定される回答の一部が省略されている（つまり、50歳を超えている人は回答を選べない）。さらに、重複している答えもある（たとえば、20歳の人は1番目の回答も2番目の回答も選ぶことができる）。
数値についての回答選択肢は念入りにチェックし、すべての数値が盛り込まれていること、重複がないことを確認しよう。
8. オプトアウトを提供する
どんなに注意深く、包括的な質問を作成したとしても、どの回答も受け入れられない回答者というのは常に存在する。もしかしたら、その回答者はあなたが考えもしなかったような特殊なケースかもしれないし、答えを覚えていないのかもしれないし、あるいは、単にその質問に答えたくないだけかもしれない。常に、このような場合にオプトアウトできるための回答を用意しておき、データの質が劣化しないようにしよう。
オプトアウトのための回答には、「該当しない」、「上記のいずれでもない」、「わからない」、「覚えていない」、「その他」、「答えたくない」などがある。どのような多肢選択式の質問でも、これらの回答のうち少なくとも1つを入れておくべきだ。ただし、1つの包括的なオプトアウトのための回答で複数の可能性に対応したい、という誘惑に負けないようにしよう。たとえば、「わからない／該当しない」という選択肢には、意味の異なるまったく別の2つの回答が入っている。したがって、これらを組み合わせるとデータが混乱する。
9. ほとんどの質問への回答を任意にする
アンケートでは、質問への回答を必須にしたくなるものだ。結局のところ、我々はデータが欲しいからだ！ しかし、すべての質問への回答を必須にすると、以下の好ましくない2つの結果のいずれかにつながる可能性が高い：
- 不適切なデータ：回答者が質問に正確に答えることができないにもかかわらず、その質問への回答が必須である場合、回答者が適当に答えを選んでしまうことがある。そうした回答を検出することは不可能であり、ランダム回答バイアスという形で調査に不適切なデータを取り込むことになる。
- アンケートからの脱落：回答必須の質問に正確に答えられない参加者が選択できるもう1つの方法に、アンケートを途中で放棄するというのがある。このような行動が起こると、目標回答数に到達するためにさらに多くの労力が必要になってくる。
こうしたことから、どの質問も必須にすると決めてしまう前に、そうすることが悪いデータや脱落のリスクに見合うかどうかを検討する必要がある。
10. 回答者を尊重する
ユーザーエクスペリエンスの分野において、我々は、自分たちはユーザーの擁護者である、と言いたいと思っている。それは、製品の意思決定において、我々がユーザーのニーズを代弁するというだけではなく、ユーザーと接する機会に恵まれたとき、常にユーザーを尊重するということでもある。
ネガティブなことだと決めつけない
健康問題や障害についての話をするとき、これは特に重要なことだ。「高血圧にお悩みですか」といった表現は、不快に感じられる恐れがある。その代わりに、「高血圧ですか」といった客観的な表現を使おう。
デリケートな話題には細心の注意を払う
デリケートだったり、個人的なことであったり、不快に思われそうな話題について尋ねるときは、まず自問してみよう。それは「本当に」聞く必要があるのだろうか。その話題を省略しても、価値のある情報をたくさん得ることが可能な場合はよくある。
一方で、デリケートな話題に踏み込まなければならないときもある。このような場合は、慎重に言葉を選ぶようにしよう。その際、対象となる人々が現在好んで使っている用語を使うようにするとよい。必要であれば、なぜその話題を取り上げるのか、そして回答することでどのようなメリットがあるのかについて簡単な説明を加えることも検討しよう。
人口統計学的な質問には包括的かつ適切な表現を用いる
人種や民族、性別、性自認などの項目について質問する場合は、正確で配慮のある用語を使うようにしよう。たとえば、性別の質問に単純な二者択一を提示するのは今や適切とはいえない。少なくとも、「その他」や「ノンバイナリー」というカテゴリーを表す第3の選択肢と、回答しないことを希望する人のためのオプトアウトの回答が必要だ。
質問を包括的なものにすることで、ユーザーのアイデンティティを尊重することができるし、ユーザーも自分が納得した場合にのみ回答することが可能になる。
