ユーザー調査に適した参加者を選び出すためのスクリーニング質問の利用方法

ユーザー調査に適した参加者を見つけるのは、ターゲットオーディエンスを明確に定義している場合でも容易ではない。ほぼすべてのユーザーから「何か」は学ぶことができるものだ。しかし、調査参加者の行動や興味、知識が実際のユーザーと同じであれば、調査から得られる知見はより有意義なものになる。

参加者を選び出すためのスクリーニング質問の利用

調査参加者をリクルートするには、彼らの背景と特徴を評価するスクリーニング質問をする必要がある。たとえば、オンラインゲームに関するWebサイトをデザインしているのなら、ゲームに興味のあるユーザーが必要だろう。この点を評価するには、「オンラインゲームをプレイしますか」とユーザーにシンプルに聞けばよい。

しかし、スクリーニング質問で調査の目的を明らかにすると、それが裏目に出る可能性もある。何に関しての調査であるかが推測しやすいと、中にはその調査に参加する（そして、もしその調査が謝礼を提供している場合にはそれを受け取る）ためだけに、誇張した回答をしたくなるユーザーもいるからだ。調査のスクリーニングプロセスの中で、「オンラインゲームをプレイしますか」という質問をすると、その調査がゲームについてのものであるという明確なメッセージを回答者に送ることになる。そのため、オンラインゲームをしていないと認めると、調査に招かれなくなるとユーザーがすぐ推測できてしまうだろう。

そのため、スクリーニング質問には、以下の2つの矛盾する目標がある。

1. ユーザーの具体的な情報を引き出さなければならない。
2. また、調査の具体的な情報を開示することは避けるべきである。

両方の目標を達成するのはたいへんなことだ。しかし、オープンエンド型の質問とディストラクター（妨害刺激）という2つのテクニックを使って、入念にスクリーニング質問を準備することで、この目標は達成することが可能である。

オープンエンド型スクリーニング質問

オープンエンド型の質問では、ユーザーに所定の回答の一覧から答えを選んでもらうのではなく、自分自身の言葉で回答をしてもらう。回答の選択肢が提供されないので、どの答えが「正解」かをユーザーが推測するのは難しい。

オープンエンドの質問は、過去の経験に関する詳細な情報を引き出すのに利用することが可能だ。つまり、オンラインゲームをプレイしているかどうかを尋ねるのではなく、「オンラインでどんな活動をしていますか」と尋ねて、ゲームについての言及があった参加者を選び出せばよい。

また、オープンエンドの質問は、以下の点についての評価にも適している：

• 不適格な職業：特定のカテゴリのユーザーを調査から除外する必要がある場合には、オープンエンドの質問のほうが、除外するカテゴリを回答としてリストアップする多肢選択式質問よりも良い。たとえば、エキスパートユーザー向けのデザインをしているのでない限り、評価するデザインに関連する仕事をもつユーザーは除外するのが一番だ。彼らは専門的な経験を積んでいるため、一般のユーザーとは違いすぎるからだ。旅行の計画を立てるWebサイトを評価する場合、観光業界で働いている人の視点は平均的な旅行者とはまったく異なるはずだ。「ご職業は何ですか」というオープンエンドの質問をすれば、除外する職業をすべてリストアップした質問をして、そのどれかが自分の仕事に当てはまるかどうかを彼ら自身に判断してもらうよりも正確な回答を得られるだろう。
• 経験や関心のレベル：特定のトピックに精通している人をリクルートする必要がある場合、オープンエンドの質問なら、関連する経験が回答者にあるかどうかを示す本物の詳細情報を引き出すことができる。たとえば、オンラインゲームをプレイする頻度を尋ねてしまうと、年に数回しかプレイしないユーザーでも、週に数回プレイしているとすぐに誇張して言うことが可能だ。しかし、いくつかのお気に入りのゲームの内容とそれらのゲームが好きな理由を説明してもらえば、即、いろいろなゲームの名前とその詳細な情報を挙げられるハードコアゲーマーと、ほとんどそうしたことを覚えていないユーザーをすぐに区別することができる。（自分でスクリーニング質問を書いていて、他の誰かが尋ねることになる場合には、こうしたオープンエンドの質問に対する回答者の答えは一言一句書き留めてもらうように依頼しよう）。

ただし、オープンエンドの質問だけでは、参加者のスクリーニングを効果的におこなうには不十分だ。オープンエンド型の質問にはいくつかの重大な制約があるからだ。たとえば、特定のニッチな行動を取るユーザーをリクルートしようとしている場合、オープンエンドの質問では関連する情報をうまく引き出すことができない場合がある。その行動を取るユーザーの中には、一般的な質問に対する回答の中で自分のそうした行動について言及しない人もいるだろう。また、純粋に実用的な観点からいうと、オープンエンド型質問は回答するのに時間がかかるし、さらに、そうした回答を収集して、分析することにもより時間が必要である。回答が自由記述式であるため、各回答者の記述にすべて目を通して、その意味を判断する必要があるからだ。そして、こうした追加的なステップが実行不可能な状況もある（たとえば、モデレーターなしのユーザビリティ調査は、多くの場合、スクリーニング質問に答えた後、すぐに調査に進めるようにデザインされているので、リサーチャーがスクリーニング質問への回答を確認する時間がない）。

ディストラクターという回答選択肢

多肢選択式質問は、評価が瞬時に可能なため、モデレーターのいないリクルートに適している。また、オープンエンドの回答で言及されない可能性のある特定の行動を評価することもできる。しかし、この場合も、調査の目的を開示しないことが重要だ。それには教師が多肢選択式テストに使うテクニックを取り入れるとよい。すなわち、回答の選択肢の中にディストラクターを入れよう。ディストラクターとは、不正解の回答選択肢のことで、正しい答えの周りに間違った答えを配置することで、どれが正解であるかをカモフラージュするものだ。良いディストラクターはまるで正しい答えであるかのように見える。その結果、正しい答えを本当にわかっているユーザーと、単に推測だけで魅力的にみえるディストラクターのうちの1つを選んだと思われるような人を区別するのに役に立つ。

多肢選択式のスクリーニング質問にディストラクターを組み込むには、回答選択肢にターゲット回答だけでなく、それと同じくらいもっともらしく見える答えをいくつか入れればよい。ディストラクターになる回答は、ユーザーがおこなう活動としてだけでなく、組織の調査トピックとしても、現実的でなければならない。たとえば、スクーターレンタルアプリを利用してみたいユーザーをリクルートする場合は、スクーターについて尋ねるときに、ディストラクターとして徒歩やライドシェア、タクシーを入れてもいいかもしれない。しかし、ハンググライダーはディストラクターとしては適切では「ない」だろう。というのも、ハンググライダーは明らかに都市部での通勤手段として理にかなっていないし、ハンググライダーでの通勤というのは企業がそれについて調査をおこなうほど、一般的な行動でもないからだ。

また、いくつかの質問では、複数の回答を選択できるようにするとよい。そして、ある質問に対して「すべての」答えを選択した（特に、複数の質問に対して、繰り返し全部の回答を選択した）回答者は調査対象者からは必ず外そう。すべての選択肢を選ぶというのは、そのユーザーの調査への参加意欲が高すぎる可能性を示す危険信号だからだ。したがって、もう少し選んだ選択肢が少ない人にするほうが安全だろう。

スクリーニング質問を1つか2つしかできないテストプラットフォームを使用していても、そのスクリーニング質問がよく練られていて、適切なディストラクターが入っていれば、たとえその数が1つであっても、ターゲットオーディエンスに一致する潜在的な参加者を特定するのに効果がある。

結論

適切なテスト参加者を見つけることは、あらゆるユーザー調査プロジェクトにとって重要なものだが、数多くの一般消費者の中から特定の種類のユーザーを識別する必要がある場合、そうしたぴったりの参加者を見つけ出すことが不可欠となる。そして、以下のようなユーザーを探している場合は、特にスクリーニングが重要である：

1. 将来の潜在的なユーザー。まだ顧客ではないが、将来、現実に顧客になる可能性があるユーザー。
2. 意欲的なユーザー。特定のトピックや活動に対する関心が非常に高く、知識や行動が「平均的な」ユーザーのそれとは大きく異なるユーザー。

こうしたユーザーは、ターゲットオーディエンスとして望ましいことが多いが、そういうオーディエンスを価値のあるものにする態度や経験というのは、多くの場合、多肢選択式質問で正確に評価するのは困難である。しかし、スクリーニング質問を入念に設計すれば、誇張や推測を防ぐことができ、ターゲットオーディエンスに本当に適合するユーザーを特定することができるだろう。

スクリーニング質問の書き方などのユーザー調査参加者をリクルートするためのヒントについて、さらに詳しくは、我々の無料レポート、『How to Recruit Participants for Usability Studies』にて。また、我々の1日トレーニングコース、「Usability Testing」のトピックの1つとしても、このテーマは取り上げている。