ユーザー調査での質問、自由回答式と選択式、どちらがいいか

はじめに

ユーザビリティ調査やフィールド調査を実施するとき、自由回答式の質問をたくさんするというのはいい考えだ。通常、調査者は調査セッションの前と途中、後にも質問をする。そのため、どのように質問するかではなく、何を知りたいのかということが重視されがちである。しかし、何をどれくらい発見できるかという観点からいくと、質問の仕方が非常に重要だ。自由回答式という手軽なテクニックを使うことで、予想していなかった重要なことを知ることができるだろう。

定義

自由回答式の質問とは、自由な形式で答えられる質問のことである。

一方、選択式質問とは、「はい」か「いいえ」で答えたり、限られた一連の答えの中から回答するもののことである（たとえば、A、B、C、あるいは、上記のすべて、など）。

選択式質問はアンケートに有効なことが多い。ユーザーがそれほど多く入力しなくてすむので、回答率が上がるからである。また、選択式質問は統計的な解析もしやすいが、一般にはそれこそがアンケートのデータを使ってやりたいことでもある。

しかしながら、1対1のユーザビリティテストで取りたいデータとは、シンプルな「はい」か「いいえ」という答えから得られる以上のものである。仮に5人のユーザーでテストした場合に、ある質問に対して60％のユーザーが「はい」と答えました、とレポートしたところで興味は持てないからである。統計的な有意差などまったくないからだ。しかし、質問について深い話のできるユーザーを確保できれば、5人からでも間違いなく有効な情報を引き出すことが可能だ。統計的な知見ではなく、定性的な知見を得ることができるからである。

自由回答式の質問の聞き方

自由回答式の質問が重要な理由

自由回答式の質問の最大の利点は、自分たちの想定以上のことを見つけられることにある。思いもしなかった動機を教えてもらえたり、まったく知らなかった行動や懸念について話してもらえるからだ。何かについて説明してほしいとユーザーに頼むと、驚くべきメンタルモデルや問題の解決方法、期待、不安、そして、ほかにも多数のことが明らかにされることは多いのである。

しかし、選択式質問だと会話を止めてしまうし、驚きもない。得られるのは予想している通りの内容だからだ。（好きなアイスクリームをバニラ、ストロベリー、チョコレートから選んでください、と聞くようなものだからである）。選択式質問をすると、意図せず、自分たちが該当すると思っている内容だけにユーザーの回答を限定してしまう可能性がある。それどころか、選択式質問によって、ユーザーにバイアスをかけ、ある特定の回答をさせてしまいかねない。あなた方が提示している答えというのは、あなた方が探しているものを表しているので、ユーザーは直接的あるいは間接的に質問自体に影響を受けてしまうのである。「これの意味がわかりますか」と聞いてはならない。そうではなく、「これはどのように機能すると思いますか」と質問し、ユーザーの話に耳を傾け、デザインから機能がどの程度伝わっているかを知ろう。そして、ユーザーが使う言葉にも注意を払うとよい。そうすることで、彼らが利用した言葉をインタフェースで使えるようになるかもしれない。

ヒント

自由回答式の質問は「どのように」や、「何を」、「いつ」、「どこで」、「どの」、「誰が」のような言葉で始めよう。

質問を、動詞の「be」や助動詞の「do」の派生型で始めないようにしよう。

一般的には、「なぜ」という質問はしないほうがよい。人間というのはたとえ理由がなくても、合理的な理由をでっち上げてしまうものだからである。普段、我々が「なぜ」と聞くのは評価についてのフィードバックを自由回答でもっと引き出したいときのみだ。したがって、「なぜ」ではなく、「それについてもっと教えてください」と言おう。

1語か2語の回答ではなく、ストーリーを収集することを目指そう。

選択式の質問をしなければならない場合でも、「それについて、他に言いたいことはありますか」のような自由回答式の質問を最後にすることは可能だ。

多肢選択式の質問に「その他__________」を追加するのも、自由回答によるフィードバックを得るにはよい方法である。

自由回答式で質問をするとよい場合

• スクリーニング質問で、ユーザビリティ調査の参加者をリクルートする場合（たとえば、「どのくらいの頻度でオンラインショッピングをしますか」など）
• デザイン調査中、以下のような点について
  • どの問題を解決すべきか
  • どんな解決策を提供すべきか
  • 誰のためにデザインすべきか
• 以下のような探索的調査で
  • 定性的なユーザビリティテスト
  • RITE（ペーパープロトタイプ）デザイン調査
  • インタビューなどのフィールド調査
  • 日記調査
  • ペルソナ調査
  • ユースケース調査
  • タスク分析
• 選択式の定量アンケート開発時の初期段階。つまり、選択式質問の回答カテゴリーのリストを導き出すには、同じ内容の自由回答式の質問を少人数のユーザーに聞くことから始めるとよい。

選択式で質問をするとよい場合

• 定量的なユーザビリティ調査で、タスク時間とエラー率を測定していて、ユーザー間で結果を比較する必要がある場合
• 多数の（1000人以上の）参加者が期待できるアンケート
• 注意深く、経時的に測定しなければならないデータを収集していて、たとえば、繰り返しの（同一の）調査活動をともなうような場合
• 考えられる答えが何らかの理由できわめて限られている場合
• ほとんどのケースをカバーできる優秀な多肢選択式質問を含む定性的な調査を十分におこなった後

結論

可能なかぎり、質問は自由回答式で聞くのが一番だ。そうすれば自分たちの想定以上のことを見いだすことができる。「はい」や「いいえ」で答えてみることで、自分たちの質問をテストしてみよう。それから、「どのように」と「何を」についてもっとたくさんのことを見いだせるように、その質問を書き直すとよい。とはいえ、場合によっては自由形式や記入式の回答が使えないこともあるだろう。なので、そうなってから、回答の可能性を制限すればよいのである。