UXインタビューの参加者数
UXデザインプロジェクトの初期段階では、ユーザーのエクスペリエンスとニーズを深く理解するために十分な数のユーザーをリクルートする必要がある。とはいえ、インタビュー調査に必要なユーザーの数はあなた方が考えているよりも少ないことが多い。
UXカンファレンスの1日トレーニングコースで、「ユーザーインタビュー」について教えているとよく聞かれる質問に、「何人の人にインタビューすればいいのか」というのがある。しかし、残念ながら、これには黄金率のような普遍的な答えはない。そこでこの記事ではインタビューをする人数を決めるのに役立ついくつかの要因を紹介する。
よくある誤解
UXの専門家の中には、5人のユーザーによるテストという推奨がインタビューベースの調査にも適用されると思い込んでいる人もいる。しかし、実際のところ、探索的調査では、参加者が5人だと少なすぎることが多い。また、サンプルがそのユーザーグループを代表でき、数としても十分であることを保証する経験則として、ペルソナごとに5人の参加者をリクルートするように教えられてきている人もいる。しかし、このルールに従うと、特にペルソナが5つ以上ある場合、必要以上に多くの人数をインタビューしてしまう可能性もある。経験豊富なインタビュアーなら、それよりもずっと少ない数のインタビューから、包括的で綿密な知見を引き出すことが可能だからだ。
定量的な調査では、結果をより規模の大きい母集団に自信をもって一般化するには、何人の参加者をリクルートすればよいか、サンプルサイズを計算することで知ることができる。しかし、インタビューは定性的な調査手法だ。定性調査の目的は、人間のエクスペリエンスを詳細に理解することであり、あるエクスペリエンスの経験があったり、特定のニーズを示す人の数を割り出すためのものではない（これは定量的な追跡調査によってわかることだ）。したがって、そうしたエクスペリエンスを深く理解するのに十分な参加者の数を「正確に」知ることは不可能なのである。
飽和
定性調査のサンプルサイズは、「飽和」に達する点によって決まることが多い。
定義：定性調査における飽和とは、調査から生じたテーマが十分に肉づけされ、それ以上インタビューを行っても、そのテーマに変化をもたらすような新しい知見が得られない点を指す。
（「飽和」の解釈は、学派によって若干異なるが、この記事では説明しない）
インタビューをある一定の回数行うと、収穫逓減が起こる。つまり、調査のトピックに関する新しい情報がほとんど得られなくなる。これが飽和に達したことを意味する。
タイトル：「インタビューのサンプルサイズと収穫逓減」
グラフの横軸：「参加者数」、縦軸：「新しい知見の数」、曲線上の点：「飽和」
ユーザービリティテストでユーザーをリクルートする場合にも、飽和現象は同じように発生する。Jakob Nielsen（ヤコブ・ニールセン）とTom Landauerは、11件の調査から明らかになったユーザビリティの問題をモデル化したところ、テスト対象のインタフェースのユーザビリティ問題の85％が5人のテスト参加者で判明すること、そして、その後は新しい参加者がサンプルに追加されるたびに、新たなユーザビリティの問題が指摘されることが少なくなっていくことを突き止めた。
しかしながら、インタビューベースの調査の目的は、ユーザーのエクスペリエンスやニーズを理解することであって、インタフェースの問題を発見することではない。したがって、収集しようとしている情報の種類が非常に多様なため、ユーザーテストよりも飽和点が高くなってしまうことがよくある。その結果、5件のインタビューでは十分ではないことが多いのである。
残念ながら、飽和に達するには何人のインタビュー参加者が必要なのかについて、学者間のコンセンサスは得られていない。たとえば、Mark Masonは、定性インタビューを利用した2,000件以上の博士論文の要旨を調べて、インタビューのサンプルサイズは、わずか1人から95人までの幅があることを確認した。サンプルの中央値は31人だったが、標準偏差は18.7と大きかった。また、長年にわたり、リサーチャーたちも自分の経験に基づいてサンプルサイズのさまざまな推奨値を提示してきているが、こうした推奨値も、わずか5人から50人までと幅がある。マーケティングリサーチャーのAbbie GriffinとJohn Hauserは、携帯用食品運搬器具に関するインタビューから判明した顧客ニーズの数を分析してモデル化し、20～30件のインタビューで顧客ニーズの90～95％が明らかになり、飽和に達すると推定した。リサーチャーのGreg Guest、Arwen Bunce、Laura Johnsonは、アフリカの女性たちを対象に性的健康に関する60件のインタビューを行い、インタビューが6件終わるごとに、主題分析を実施した。そして、この主題分析が1回終わるたびに、新しいコードと変更したコードの数を調べた。その結果、作成された36個の出現頻度の高いコード（テーマの展開につながるコード）のうちの34個が6人分の発言録を分析したところで追加されたものであり、35個が12人分の分析後に追加されたものであることを確認した。その上、12人分の発言録を分析したところで作成済みだったコードは、その後のインタビューでもそのままで変更されることがなかった。彼らは、この結果から、12人のインタビューを実施して分析した時点で、飽和が発生した、と結論づけた。しかし、包括的な大まかなテーマを知りたいのであれば、このプロジェクトの場合、必要なサンプルサイズは6人で十分だったことも認めていた。（もしこれがUXのプロジェクトなら、我々は、現実的な理由により、6人インタビューしたところで、終わりにしていただろう。テーマを1つ、また、多少の詳細情報も聞き逃すかもしれないが、さらに6人分のインタビューを実施し、それをコーディングするのにかかる時間は、他の差し迫った問題の調査に費やすほうがいいと思うからだ）
飽和に影響を及ぼす2つの大きな要因
飽和に達するのに何人の参加者にインタビューすればいいのかは以下の要件によって異なってくる：
- 調査目標の幅と範囲
- 調査対象者の多様性
非常に探索的で、多様な調査対象母集団が対象の調査プロジェクトは、調査目標の範囲が狭く、対象集団が均質な調査よりも、飽和に達するまでに多くのインタビューを必要とする。たとえば、一般の人々が医療を利用する際のエクスペリエンスを調べる調査では、飽和に達するまでに20〜30人（またはそれ以上）のサンプルが必要になる可能性がある。これは、この対象母集団が非常に多様であり（若者から高齢者まで、そして健康な人から病気の人まで）、調査の範囲がかなり広いためだ（医療を利用する際のエクスペリエンス)。それに対して、II型糖尿病の治療を受ける患者のエクスペリエンスを調べる調査では、範囲がもっと狭いし（特定の疾患の治療を受ける際のエクスペリエンス）、調査対象集団もより均質であるため（参加者全員が同じ疾患を抱えていて、同じまたは非常によく似た治療を受けることになる）、5件程度のインタビューで済む可能性もある。
もちろん、これ以外にも飽和に影響を及ぼす要因はある。たとえば：
- インタビュアーの熟練度：経験豊富なインタビュアーは、適切な深堀りとフォローアップの質問をすることでより多くの知見を引き出し、「さらに」データを分析する際にはより多くのテーマを明らかにすることができる。
- リクルートした参加者の専門知識のレベル：特定の領域の経験が豊富なユーザーは、その領域についてより多くの情報を提供してくれる。
- インタビューの構造化の度合い：インタビューが構造化されていないと、毎回のインタビューで常に同じトピックや質問が取り上げられるとは限らないので、小さなサンプルサイズで飽和に達することが難しくなる。しかし、インタビューが半構造化されていて、インタビューの参加者全員に同じ自由回答式の質問がいくつかなされることになっていれば、回答に重複する部分が生じることになり、早い段階で飽和に達する可能性が高い。
これらの要因を考慮することで、サンプルサイズの目安が得られるはずである。
小さなサンプルサイズから始めて、分析しながら進めていこう
いつ飽和に達するのかを事前に知るのは難しいし、多くのプロジェクトでは、発見フェーズの期間が非常に短いので、まずはユーザーを代表する少数のサンプル（たとえば5～6人）でインタビューを始めて、分析をしながらインタビューを進めていくのが一番だ。そして、まだ新しい発見があり、新しいコードを作り続けている場合は、テーマが出来上がり、新たにインタビューをしても新しい知見がほとんど発見されない段階に達するまで、さらに何人かの参加者をリクルートすればよい。
必ずターゲットオーディエンスであるユーザーをリクルートするようにし、その際には、調査課題に影響を与える可能性のある関連特性を重視するようにしよう。たとえば、旅行のオンライン予約のエンドツーエンドのエクスペリエンスを調査しているのなら、関連する特性には収入、旅行頻度、年齢などがあるが、これらの特性は、ユーザーの嗜好、態度、行動に影響を与える可能性がある。
もちろん、可能であれば、性別、年齢、人種を組み合わせてリクルートするのは良いことだ。しかし、インタビューベースの調査はサンプルサイズが小さいので、サンプルを一般社会のすべてのデモグラフィック要素の割合に一致させることは難しい。しかし、それは問題ない！ サンプルでは、一部の特性が過剰に表現される。そこで、たとえば、インクルーシブなデザインを重視するのであれば、デジタル技術が苦手で、アクセシビリティのニーズがあるユーザーの「比率が大きくなる」ようにすればよい。
最後に、（予算を立てるために、あるいはステークホルダーが知りたがっているために）インタビュー開始前にサンプルサイズを設定する必要がある場合は、範囲で指定しよう。そうすれば、早い段階で飽和に達した場合は、そこでやめる可能性もある、と思ってもらえるだろう。
要約
何回インタビューすれば十分なのかは、飽和に達するタイミングによる。そして、それは調査目標と調査対象者によって変わってくる。必要以上に多くのインタビューをしないで済むようにするには、少人数のインタビューから始めて、分析しながらインタビューを進めていき、新たに学べるものがなくなったところでやめるといいだろう。
参考文献
Abbie Griffin and John R. Hauser. 1993. The Voice of the Customer. Marketing Science, Vol. 12. No. 1.
Greg Guest, Arwen Bunce & Laura Johnson. 2006. How many interviews are enough? An experiment with data saturation and variability. Field Methods, Vol. 18, No. 1, 59-82.
Mark Mason. 2010. Sample Size and Saturation in PhD Studies Using Qualitative Interviews. Forum Qualitative Sozialforschung / Forum: Qualitative Social Research, Vol. 11, No. 3. https://doi.org/10.17169/fqs-11.3.1428
Nielsen, Jakob, and Landauer, Thomas K.: “A mathematical model of the finding of usability problems,” Proceedings of ACM INTERCHI’93 Conference (Amsterdam, The Netherlands, 24-29 April 1993), pp. 206-213.
変更履歴
5月11日15時：図が表示されていなかった不具合と、参考文献の3つ目と4つ目が合体していた問題を修正しました。
