ユーザー調査の参加者のスクリーニング
よく出来たスクリーナーは、参加者が調査目的に合っていることを保証し、データの質を高め、リソースを節約し、バイアスを減らす。
リサーチャーにとって、調査の最中に参加者が不適切であったためにデータが無効であると気づくことほど最悪なことはない。スクリーナーを使って調査にふさわしい参加者を選定することで、このような事態を防ごう。
スクリーナーとは
ユーザー調査は、デザイン中のソリューションがエンドユーザーのニーズに応えるものであるかを確認する最も効果的な方法のひとつだ。ただし、それが有効なのは、適切なテスト参加者を確保することができた場合に限る。
ここでいう「適切なテスト参加者」とは、製品の「実際の」ユーザー、あるいはユーザーのデモグラフィック属性や行動特性に近い「代表的な」ユーザーのことを指す。スクリーナーを使うことは、適切なユーザーを対象に調査を行うことを可能にする最も手軽で効果的な方法なのである。
スクリーナーとは、ある調査プロジェクトにふさわしい参加候補者を見極めるために、通常、口頭または記述式のアンケート形式で実施される一連の設問のことである。
調査スクリーナーの利点
ユーザー調査を実施するたびに調査スクリーナーを活用すると、以下のような有益な利点が得られる。
関連性が担保される
デザインは、適切なオーディエンスのために作成するものである。デザインの対象が飛行機のコックピットであろうと住宅ローン申請アプリのユーザーダッシュボードであろうと、コンテンツや機能はエンドユーザーの固有のニーズや好みに合わせて調整されるべきである。
そのため、参加者が「誰でもいい」という条件でテストを実施するのは、ほとんどの場合適切ではない。そうした調査の成果は、対象製品とは無関係なものになってしまうからである。スクリーナーを使えば、調査に参加するユーザーが製品や調査課題に関連のある人物であることが担保され、その結果、調査結果の妥当性も確保されることになる。
データの質が担保される
調査参加者として優れている人がいる。彼らは自分の考えや意見を率直に述べ、複雑な反応を巧みに言語化することに長け、調査課題に対する答えを見つけるのを熱心に手伝ってくれる。しかし、そうではない人もいる。回答が1語だけだったり、インタビューの間中、肩をすくめるだけだったり、できるだけ早くタスクを終わらせようとしてさっさと作業するような参加者からは、有益なデータや質の高いデータは得られない。しかし、適切に設計されたスクリーナーを使えば、こうした参加者をある程度排除することができる。
時間と費用を節約する
スクリーナーがなければ、リサーチャーはその参加者が調査に適しているかどうかを、調査セッションが始まってからでないと判断できない。適切に設計されたスクリーナーは、時間とリソースの無駄を防ぐ。
バイアスを減らす
効果的なスクリーナーがなければ、調査はさまざまなバイアスにさらされることになる。たとえば、（UserTesting.comやUser Interviewsを通じて参加できるパネルなどの）調査パネルに自主的に参加するユーザーには、ITの専門家や、平均的なユーザーよりもウェブにはるかに精通した人が多く含まれる傾向がある。こうした参加者だけでテストを行うと、バイアスが生じ、誤った知見を得てしまう可能性がある。
効果的なスクリーナーを作成するためのベストプラクティス
以下のベストプラクティスに従うことで、ユーザー調査でユーザーの代表者としての参加者サンプルを確保することができる。
1. 適格条件と除外条件を定義する
調査スクリーナーを作成する最初のステップは、目標を定義することである。調査に参加してほしいのはどんな人か。そして、同じくらい重要なのが、調査に参加してほしく「ない」のはどんな人かである。適格条件（調査に適した人物と判断される要因）と除外条件（不適切とされる要因）の両方を考えよう。
参加者としての条件を厳しく定義すればするほど、適切なユーザーを見つけるのは難しくなる。そのため、調査課題に対する信頼性の高い回答を得るのに不可欠な属性に焦点を絞るとよい。
通常は、行動特性とデモグラフィック属性が最も重要な考慮事項になる。
- 行動特性：ターゲットユーザーについて考えてみよう。彼らに共通する行動はどのようなものか。彼らはどんな行動をしているか。共通の興味や関心は何か。また、ショッピングやメディア消費の傾向はどうか。調査課題に最も関連のある行動の特性をリストアップしよう。
- デモグラフィック属性：デモグラフィック属性は、一般に、行動特性ほど重要ではないが、それでも考慮する価値はある。ターゲットオーディエンスを説明するデモグラフィック的な特徴（たとえば、高齢者）がある場合は、それらもリストに追加するとよい。さらに、特定のユーザーインタフェースをテストする調査では、UX、マーケティング、IT関連の職種に就いているユーザーは除外することが多い（こうした人々は、ユーザーインタフェースの分析に精通していて、ターゲットユーザーを代表するとは限らないからだ）。
その他の考慮すべき要素は以下の通りである：
- テクノロジーの保有および利用の状況：ネイティブAndroidアプリをテストする予定だろうか。それともMacアプリか。あるいはChrome拡張機能だろうか。その場合、対象のテクノロジーやデバイスを日常的に利用している人を選定する必要がある。
- 過去の調査参加歴：同じ調査参加者を複数の調査に起用すると、結果にバイアスが生じる恐れがある（ただし、同じ集団の行動を長期にわたって追跡する場合など、いくつかの例外はある）。また、調査に参加することで生計を立てている「プロのテスター」は採用すべきではない。こうした人々は調査パネルに多く見られ、一般の人々とは異なる行動を取る傾向がある。
2. 予測ではなく、過去の行動に注目する
ユーザー調査を行う際には、しばしば、まだ存在しない製品やサービスを使いそうなユーザーを探したくなるものだ。そのため、「製品Xを使うと思いますか」と直接尋ねたくなることもあるだろう。
しかし、こうした誘惑に負けてはならない。ユーザーによる将来の自分の行動の予測が当てにならないことは周知の事実だ。この理由としては、純粋な見込み違いのほか、リサーチャーに好印象を与えようとしたり、謝礼が出る調査に参加するために嘘をつこうとする、などが考えられる。
そうではなく、関連する過去の行動に注目しよう。将来その製品を使う「つもり」なのかどうかを尋ねるのではなく、過去に同じような製品を使ったことがあるかどうかを尋ねるべきである。
3. 「はい／いいえ」で答える質問は避ける
参加希望者の多くは調査に参加したがっており、そのためには嘘をつくこともいとわない可能性がある。彼らは調査の目的を推測して、それに自分が合っていると見えるようにスクリーナーに答えようとするかもしれない。
特に、「はい／いいえ」形式の質問は、たいていの場合、その意図を推測しやすい。
たとえば、Amazonで買い物をする人を調査のために募集しているとしよう。次のような、最適とは言えないスクリーナー質問について考えてみてほしい：
❌ Amazonで買い物をしますか。
- はい（採用）
- いいえ（不採用）
この質問では、リサーチャーがAmazonの買い物客を募集していると参加希望者が考えるのは自然なことだろう。そして、それが真実であろうとなかろうと、「はい」と答える可能性がある。
代わりに次のような質問をしてみよう。
過去1か月間にオンラインで何回買い物をしましたか。
- 0回（不採用）
- 1～5回（Q2に進む）
- 6～10回（Q2に進む）
- 11回以上（Q2に進む）
過去1か月間に、以下のうちのどのサイトでオンラインショッピングをしましたか（該当するものをすべてお選びください）。
- Zappos（選択可）
- eBay（選択可）
- Shein（選択可）
- Amazon（選択必須）
- Temu（選択可）
- 上記のどれでもない（不採用）
このような連続した2つの質問を使えば、スクリーナーをごまかして虚偽の回答をすることははるかに難しくなる。
4. 誘導尋問をしない
誘導尋問は特定の回答を促すことで、不正確なデータを生み出してしまう。また、スクリーナーで誘導尋問をすると、調査目的が明らかになりかねない。その結果、回答者がこの情報を利用してスクリーナーをごまかそうとすることもありうる（また、参加者として採用された場合、自分のメンタルモデルがその調査にふさわしいものになるように、調査中の行動を修正することも考えられる）。
調査の目的が不用意に明らかになってしまうのを防ぐために、ファネル手法の活用を検討しよう。まずは、調査の目的やリサーチャーの意図が明らかになりにくい、できるだけ一般的な質問から始め、徐々に意図が反映された具体的な質問へと進めていこう。
| ❌ 誘導尋問 | ✅ ファネル手法 |
|---|---|
| フィットネスの向上のために、当社アプリの新しいヘルストラッキング機能をどれくらいの頻度で使っていますか。 | 現在、フィットネスや健康の記録に使っているアプリやツールは何ですか。 それらのアプリで、身体の変化の記録に最も役立っていると感じる機能はどれですか。 当社アプリのヘルストラッキング機能を使ったことはありますか。ある場合、それはどのように役立ちましたか。 |
5. オープンエンド型の質問をいくつか入れることを検討する
オープンエンド型の質問は、回答者の時間と手間の負担を増大させる可能性があるため、アンケートで多用しすぎないよう注意すべきだが、スクリーナーでは重要な役割を果たす。
オープンエンドの質問には2つの利点がある。1つ目は、情報量の多い回答が得られるため、リサーチャーは回答者の人物像をより深く把握することができ、調査に適した参加者を選ぶことができる。
2つ目は、オープンエンドの質問は、参加者がテストに費やす労力の指標にもなるというものだ。オープンエンドの質問に対して、内容のない一言だけの回答を返す参加者は、実際の調査の場でもそうする可能性がある。
6. スクリーナーのパイロットテストをする
他のアンケートと同様に、スクリーナーも公開前に必ずパイロットテストを実施しよう。数名の人にスクリーナーをテストしてもらうことで、誤字、わかりにくい表現やあいまいな表現、質問の分岐に関する問題といった問題点を発見することができる。
よくある間違い
過剰なスクリーニング
ターゲットオーディエンスのあらゆる行動特性やデモグラフィック属性に合致する完璧な参加者を探したくなることもあるだろう。
しかし、ほとんどの場合、そうすると、スクリーナーの条件が厳しくなりすぎ、誰も通過できなくなってしまう。調査課題に影響しそうな条件だけをスクリーニングする、ということを心に留めておこう。
専門用語や複雑すぎる表現の使用
あなたやあなたの同僚はスクリーナーのターゲットオーディエンスではない。専門用語やその他混乱を招きかねない表現は使わないようにしよう。
❌ 製品のアイデア発想のためにエスノグラフィック調査を行った経験はありますか。
✅ 新しい製品のアイデアを得るために、ユーザーの実際の生活環境で彼らを観察したり、インタビューしたりしたことは、過去12か月間に何回ありますか。
デモグラフィック属性の多様性を無視
身体的に健常で、神経学的に定型発達で、テクノロジーに精通し、読み書き能力の高い人だけでテストを行った場合、人口の相当な割合に関わる問題を見落とす可能性が高い。
製品がターゲットオーディエンス全体にとってユーザブルなものとなるよう、身体に障害のある人、神経多様性のある人（訳注：自閉スペクトラム症、ADHD、学習障害の人など）、読み書き能力の低い人、テクノロジーに精通していない人も対象としてスクリーニングし、調査に参加してもらうことを検討しよう。
同期型スクリーナーに関する補足
ほとんどのスクリーナーは、オンラインでの記述式アンケートの形で配信される。この形式は、ウェブサイト、メール、オンライン広告、ソーシャルメディアの投稿から容易にリンクを張ることができるので利便性が高い。基本的な条件を満たさない参加者をふるいにかけるには、記述式スクリーナーだけでも十分であることが多い。
しかしながら、特に調査の目的が明らかになってしまう可能性のある質問をする、あるいは記述式では把握しにくい特性を評価するような場合には、電話で2段階目のスクリーニングを行うことが非常に効果的である。記述式スクリーナーでは、すべての質問が最初から表示されることが多いため（訳注：日本のアンケートプラットフォームでは、1問ずつ表示される場合が多いと思われる）、参加者が調査の目的を推測し、それに合うように回答を調整してしまうことも考えられる。それによって、参加者の選定にバイアスがかかることもある。
一方、電話によるスクリーニングは、より会話的で間接的な方法で、潜在的に明らかになりそうな質問をする機会を提供する。その結果、参加者が調査の目的を推測し、それに沿って回答を操作する可能性を下げることができる。
さらに、電話によるスクリーニングには、調査セッションの成否につながりかねない、参加者のコミュニケーションスタイルを評価できるという利点もある。たとえば、参加者に自分の考えを明確に言語化してもらったり、口頭での詳細なフィードバックを求める場合には、電話によるスクリーニングを行うことでその参加者のコミュニケーションスタイルが調査に適しているかどうかを確認することができるだろう。
電話によるスクリーニングはごく手短に済ませよう（2～5分）。というのも、通常は、回答者に対して謝礼を支払わないからだ。この時間を使って、記述式スクリーナーの回答を詳しく説明してもらいながら、参加者の誠実さと適合性を見極めるようにしよう。
