1. ホーム
  2. ニールセン博士のAlertbox

ユーザー調査プロジェクトのための候補者の募集とスクリーニング

募集プロセスに内在するバイアスを理解し、ターゲットオーディエンスを代表する参加者を集めるために、そうしたバイアスを回避しよう。

調査参加者の募集（リクルート）は難しい作業だ。興味のある参加者を引きつけ、調査のために会う時間を決めて、その調査に来るように確認の連絡をした上で、彼らが予定された調査セッションに来ることをしっかり覚えているように願う必要がある。さらに悪いことに、せっかく来てくれた参加者が、どんなに努力する人であっても、有意義なフィードバックや知見を提供するのに必要な実生活での経験を持ちあわせておらず、調査対象としてふさわしくないこともある。最適ではない調査参加者は、調査の質やデザインの決定に悪影響を及ぼしてしまう。

スクリーニングアンケート（「スクリーナー」ともいう）とは、参加者候補の経験に関する情報を収集して、以下のことを行うアンケートのことである：

  1. ターゲットオーディエンスを代表する最適な候補者を迅速に見つけ出して、優先順位をつける。
  2. 調査に「適合」しない候補者を除外する。

この記事では、ユーザー調査の募集プロセスにおけるスクリーニングの重要性と、それを募集方法に落とし込むやり方について説明する。

偏ったサンプリング

まず、ユーザー調査では、オーディエンスを代表するような人を集める必要がある。しかし、そうするには、募集のプロセスによっては、参加者がある特定のタイプに偏ってしまう可能性があるということを認識しておく必要がある。

たとえば、独自の参加者パネルを持っているリモートテストプラットフォームを利用していると、「プロのテスター」（さまざまな種類のユーザー調査に参加することで収入のかなりの部分を得ている人々）に遭遇することがある。こうした参加者自体が調査に「有害である」わけではないが、彼らの動機は、調査結果を歪める行動につながる可能性がある。たとえば、モデレーターのいないテストでは、現実的な方法で真面目に努力するのではなく、質問への回答やタスクの実行を非常にさっさと済ませてしまう（またはまったく実行しない）人もいる。また、リサーチャーがユーザーテストに何を求めているのかを知っていて、認識しているその調査ニーズに応えるために意図的に悪いフィードバックをする人もいるかもしれない。

プロのテスターから逃れることができる絶対に確実な方法などないが、スクリーニングアンケートの回答をさらに厳しく吟味して、それが妥当で正直なものかどうか（たとえば、参加者が意味のある文ではなく、「abc」と入力していないか、など）を判断することでこの問題を軽減することはできる。スクリーニングアンケートの趣旨は、候補者の審査作業を「ある程度」軽減することにあるが、はっきり言って、質の高い候補者が確実に選ばれるようにするには、（リサーチャーであれ、プロのリクルーターであれ）それなりの労力が必要である。

同様に、参加者を集めるためにあなた個人のネットワーク（「コンビニエンス」サンプル）を利用する場合には、そうした人々はすでにあなたと何らかの関係があるわけなので、正直に否定的なフィードバックをすることにためらいを覚えるかもしれない。また、同僚によるテストも、彼らがプロジェクトや組織、さらにはさまざまな種類のユーザー調査やその目的をよく知っている可能性があるため、結果に偏りが生じることもある。

さらに、一般には、UXの専門家（またはインタフェースデザインに関心を持っている「UXが身近にある人」）も除外する必要がある。こうした人はUXの問題に気がつきすぎるため、現実のユーザーのフィードバックというよりもエキスパートレビューになってしまう可能性が高いからである。

たとえ自分たちの顧客に「あらゆる人」がいるとしても（つまり、参加者は一般ユーザーであり、性別や年齢もさまざま）、調査の外部妥当性、すなわち、自分たちの顧客がその製品を使う目的や興味と参加者のそれが一致していることを確認する必要がある。たとえば、スポーツやハイキングにまったく興味がない人は、アウトドア用品のWebサイトで買い物をしようという気があまりないかもしれないからだ。

参加者のスクリーニング方法

1.   選考基準を定義する

まず、チームで、調査参加者の基準を明確にする必要がある。ターゲットオーディエンスのデモグラフィック属性と、さらに、彼らが製品を利用する際の目的の両方について検討しよう（このプロセスの詳細については、我々の無料レポート、「How to Recruit Participants for Usability Study」をチェックしてみてほしい）。こうした基準によって、募集方法とスクリーナーが決まることになる。

自動リクルーティングプラットフォームを利用する場合は、余計な除外基準を設けてアンケートを制限しすぎないように注意しよう。たとえば、プロのテスターが来てしまうことを心配して、「一番最近調査に参加したのはいつですか」というような排他的な質問を入れたとする。そうすると、調査への参加自体は今回で2回目なのにたまたまその月にまったく異なるタイプの調査に参加した人などを必要以上に除外してしまう可能性がある。

これと似たような話だが、マーケティングの専門家を集めようとして、業界の「広告・マーケティング」を選択した人のみを受け入れようと考えているかもしれないが、マーケティングの専門家がいるのは広告やマーケティングの会社だけではなく、非マーケティング系の組織（スーパーやアパレルショップなど）の中でマーケティングを行っていることも多い。したがって、肩書や職務内容に「マーケティング」という言葉が入っているさまざまな業界の人を受け入れる方が生産的だろう。

2. スクリーナーを作成する

質問を作成する際には、自由回答式または多肢選択式の質問を使って、調査の意図を明かさないようにしよう。

たとえば、「テレビゲームをしますか」のような、「はい」か「いいえ」で答える質問は、この調査がテレビゲームに関連するもので、望ましい答えは「はい」であると匂わせてしまう。しかし、「過去4週間にこれらの活動のうちのどれをしましたか」という質問にして、「ハイキング」、「読書」、「ショッピング」、「テレビゲーム」などの選択肢を並べておけば、調査の意図はわかりにくい。ディストラクター（妨害刺激）になる回答を入れておくことで、回答者は正直になり、アンケートを操作することができなくなるのである。

最も重要な除外基準は、アンケートの最初のほうに配置しよう。そうすれば、明らかに不適合な人をすぐ除外できるので、彼らの時間を無駄にせずに済む。

アンケートにロジックを設定すると、効率よくスクリーニングプロセスを進めることができる。そのためには、強力な分岐機能を備えたアンケートツールの採用を検討しよう。

3. 参加者の募集方法を選択する

調査の参加者を見つける方法にはさまざまなものがあるが、それぞれの方法には長所と短所がある。したがって、調査課題によっては、複数の提供先から集めるといいだろう。

  • リクルート専門会社
    リクルート専門の会社の中には、UXやマーケティングのリサーチャーが調査の要件を満たす候補者を見つける手助けをすることに特化したところがたくさんある。そのほとんどの会社では、参加候補者や最終参加者とのやり取り（スケジュール調整、連絡、支払いなど）の代行もある程度してくれる。これらの会社は、比較的広い範囲から「一般ユーザー」にあたる参加者（たとえば、性別、経歴、経済状況、年齢などがさまざまな参加者）を集めることができる。

    リクルート会社は、非常に特殊な募集ニーズに応えたり、特殊なユーザーグループを見つける（たとえば、ある特定の障害を持つ参加者や、非常に特殊な状況やバックグラウンドの人を見つける）場合には特に有用である。こうした会社では、多くの場合、事前に参加者を審査しているので、調査に現れない参加者の率も低くなる。そのため、自動化されたツールや既存のユーザープールを活用するよりもコストがかかることが多い。
     
  • 自動リクルーティングプラットフォーム
    市場にはユーザー調査のためのオンラインプラットフォームがいろいろと出回っていて、その中には、自動のスクリーニング機能やリクルーティングサービスを提供しているものもある。「一般ユーザー」をターゲットにしている場合、この方法は、比較的費用がかからないこと、募集業務の一部を外部委託できること、（自動化により）比較的短期間で実施できることから有益だろう。

    ただし、自動リクルーティングプラットフォームを利用すると、「プロのテスター」を集めてしまうリスクがかなりある。また、ツール内でスクリーニングの設定オプション（アンケートの分岐やロジックなど）が制限されることもある。
     
  • 既存ユーザーの社内パネル
    多くの企業は、既存のユーザーベースから集めることにして、新しい機能を試したり（A/Bスプリットテストやベータテストなど）、一般的な調査機会に参加したりすることをいとわない協力的なボランティア要員を確保している。このやり方は、特定の製品の利用経験が豊富なユーザーを集めたり、従業員向けの製品についての知見を得るのに最適である。

    この方法では、即時的な募集コスト（金銭的、時間的の両方）はあまりかからない。候補者は適格要件を半分審査済みのようなものだし、外部で集める費用もかからないからだ。とはいえ、ほとんどの場合、費やしてくれた時間に対して、金銭や製品などの何らかの報酬を参加者には提供する必要がある。また、ユーザーパネルを構築して維持する以外にも、参加者のスケジュールの設定や調整のためのコストも発生する。一部の大企業では、社内に調査専門のリクルーター（ユーザーパネルの構築と維持、必要に応じて社内のさまざまな調査ニーズに対応するために雇われたスタッフ）を置いているところもある。

    社内パネルの範囲は、すでにあなた方のブランドや製品をよく知っている参加者に限定される。したがって、おそらくこのような募集用の人材プールを利用すると、新規ユーザーの視点をとらえることはできない。参加者にすでにブランドへのロイヤリティがあるので、サンプリングバイアスや確証バイアスが発生する可能性もあるからだ。つまり、彼らはすでにそのブランドと関わりがあるので、そのブランドを気に入っていて、肯定的なフィードバックを提供することが考えられるということだ。
     
  • オンラインのフォーラムやグループ（ディスカッションボード、プロフェッショナルネットワーキンググループ、その他のソーシャルメディアグループなど）
    既存のユーザーベースや自動リクルーティングプラットフォームによるパネルでは、必要とする程度の特殊性を確保できない場合は、オンラインのグループやフォーラムに目を向けると、特定の経験や興味、バックグラウンドを持つ参加者を見つけ出すことができる。こうしたグループを利用することで、リクルート会社やリクルーティングプラットフォームよりも低コストで特殊な募集ニーズに対応することが可能である。

    こうしたオンライン上のグループでは、意欲的な参加者たちを集めることができるが、その一方で募集の対象範囲は狭く、そのグループのメンバーに限定される。したがって、必ずしもターゲットオーディエンスのすべての人を代表できるわけではない。さらに、特に、そのグループ自体がある特定の視点を共有していたり、声の大きいコミュニティメンバーがいたりすると、サンプリングバイアスや集団思考が発生する可能性が高くなる。また、参加者との連絡や条件に合っているかどうかの確認にかかる時間と労力もより多く必要とされる。インターネット上のグループやソーシャルメディアプラットフォームのメンバーに連絡を取る場合は、必ず事前にグループのモデレーターに許可を得よう。

  • インターセプト調査（または「玄関・廊下での募集」）
    「5分ほど簡単なアンケートにご協力いただけませんでしょうか」というフレーズを聞いたり読んだりしたことがあるなら、インターセプト調査がどんなものかわかると思う。こうした調査は、バーチャル（ポップアップやモーダルダイアログを介して）、電話（対話型音声応答（IVR）システムを介して）、または対面（ショッピングモールやオフィスの廊下、またはカフェで）で実施することができる。このやり方は、訪問者や既存の顧客を集めたり、特定の目標やタスク（特定の機能の利用など）を念頭に置いて参加者を見つけるには理想的だ。このやり方を取ることで、モデレーターのいない調査やアンケートへの参加者募集は自動化することができるだろう。

    しかし、残念ながら、この調査ではリサーチャーの時間が無駄になることもある（モデレーターのいる、つまり対面のセッションでは、参加者が見つかるかどうかにかかわらず、リサーチャーは準備万端の状態で待機しておく必要がある）。ニーズの特異性によっては、そうした待機時間が長くなることもあるだろう。たとえば、ニュースレターを購読する人を対象とした定量調査のために100人の参加者を集めるのは難しいかもしれない。また、社内パネルと同様、このような調査（特にオンラインの場合）は、すでにそのブランドと関わりを持つことを決めている顧客を対象とするため、サンプリングバイアスや確証バイアスの影響を受ける可能性がある。
募集方法募集の対象範囲費用労力時間バイアスのリスク
リクルート専門会社広い
一般ユーザー
特殊なユーザー		高低中低
自動リクルーティングプラットフォーム広い
一般ユーザー		中低～中低低
社内のユーザーパネル狭い
既存ユーザー
パワーユーザー
従業員		低中低中～高
オンラインのフォーラムやグループ狭い
特殊なユーザー		低高中中～高
インターセプト調査狭い
訪問者（新規/既存）
タスク重視のユーザー		低高中中

4. 募集方法とスクリーニングアンケートを適切な参加者を集められるように調整する

（夜勤や交代勤務の労働者、経営者、医師、弁護士など）時間的な余裕がない人や高収入の専門家が、仕事や私生活から離れて過ごす時間を正当化するには強い動機を必要とするだろう。また、彼らは時間をかけて、長ったらしいスクリーニングアンケートを記入しないと思われる。

5. 調査のために2種類以上のユーザーセグメントを集める場合

1つのスクリーニングアンケートで、そのためのすべての基準を満たすことが可能だ。しかし、以下のようなトレードオフがある：

  • プラス面としては、参加者が何度もアンケートに回答する必要がないため、十分なサンプルサイズを確保できる可能性が高くなる。
  • その一方で、かなり複雑で分岐の多いスクリーナーになったり、候補者がスクリーナーに記入した後でも手作業で彼らを選別する必要があるかもしれない。

たとえば、技術部門で働いていないパワーユーザーと、技術部門で働く初心者ユーザーという2種類のユーザーを集めたいとする。この場合は、技術者を初心者の選定基準で、また、非技術者をパワーユーザーの選定基準で振り分けるというアンケートロジックが考えられる。あるいは、技術分野で働いているかどうかを全員に尋ねてから、パワーユーザー向けと初心者向けの両方の質問に答えてもらい、その回答を見て、要件の組み合わせに合っているかどうかを手作業で判断していくこともできるだろう。

6. 参加者の承認リストを最終決定する前に、適格／不適格両方の候補者のアンケート回答を確認する

（リクルート会社を使っている場合は、スクリーナー回答をすべて提供してもらうか、少なくとも要件にほとんど一致している人の回答は提供してもらえるように依頼しよう）。

提出されたアンケートの回答を確認することで、ターゲットオーディエンスの基準を「すべては」満たしていないがほとんど満たしている場合に、予備の候補者として検討したい、適合度の高い調査候補者を特定することができる。

たとえば、複数の子どものいる親がターゲットオーディエンスであった場合、子どもを主に世話をしている人であっても叔母や叔父は不適格にされているかもしれないが、この調査の場合、彼らは条件を満たしているだろう。あるいは、回答可能な複数の選択肢のうちのある1つを選んだことで、除外されている人もいるかもしれない（たとえば、AndroidとiPhoneの両方を所有しているにもかかわらず、「どのタイプの電話を所有していますか」という質問に、Androidと答えた場合など）。

7. 条件を満たしている参加者が調査に本当に適しているかどうかわからない場合（たとえば、募集の条件が非常に具体的であるため）

調査を15分のスクリーニングインタビューと30分または60分の調査セッションの2つの部分に分けるといいだろう。このスクリーニングインタビューには、以下の2つの目的がある：

  1. 候補者を評価してスクリーニングアンケートへの回答を明確にし、インタビューに適しているかどうかを検証する。
  2. 選ばれた参加者は、調査の詳細計画の重要事項（たとえば、同意書、連絡方法、参加への期待、デバイス要件、ダウンロードが必要なアプリケーション、アカウント作成などのセットアップ作業など）を確認することで、メインの調査セッションの準備をすることができる。

8. 最後に、選定基準を十分に満たす承認された参加者に連絡して、調査セッションのスケジュール調整を始める

調査に呼ぶのが確実でない限り、準適格な候補者との予定を組むことは避けよう。そうしないと、一旦約束した以上、その予定をキャンセルする場合、厳密にいえば補償を提供する義務が生じてしまうからだ。

結論

ユーザーがどんな人であろうと、調査にかかる時間と予算を賢く使うには、調査参加者のスクリーニングをする必要がある。結局のところ、デザインの決定は、データの内容に依存している。ターゲットオーディエンスを代表する調査参加者を集めることで、バイアスを減らして、あなた方のユーザー独自のニーズに合わせたエクスペリエンスを構築することができるだろう。

キーワード