定性調査での指標の収集
定量的な調査を実施しない限り、成功率や平均値などの記述統計を報告しないようにしよう。報告される数値は、信頼区間や統計的有意性などの統計情報が付加された適切なものでなければならない。
私はこの種の質問をよく受ける：
「定性的なユーザビリティテストの中で、定量的な指標（タスクの成功率やタスク時間など）を収集してもよいでしょうか」
簡単に言うとその答えは、「はい」だ。ただし、（1）そうした数字を統計的にではなく、逸話として報告すること、（2）それらの数字がユーザー層全体の行動を反映していない可能性があることを明記するように気をつけること、が条件である。
定量調査と定性調査は別物
UXチームが、時間やリソースを節約するために定量的な調査と定性的な調査の境界線を曖昧にしたくて、この質問をしてくることもある。しかし、定量的なUX調査と定性的なUX調査とでは目的が異なるため、それぞれ異なった構成にしなければならない。
定性的なユーザーテストで優先されるのは、エクスペリエンスにおける問題や取り組むべき状況を特定して、それを解決する方法を判断することだ。そこではリサーチャーは、調査から知見や逸話を収集することに重点的に取り組む。そのため、この調査を実施するには、代表的なユーザーが数人いればよい。また、定性テストのファシリテーターは、タスクに関してある程度融通をきかせることができる。つまり、各参加者に合わせてタスクを変更したり調整したりすることが可能だ。
定量的なユーザーテストでは、タスクの実行にかかる時間など、エクスペリエンスのさまざまな側面の数値評価であるUX指標の収集が優先される。定量テストの最終的な目標は、ユーザー層全体を対象としたこれらの指標の推定値を算出することである。
こうした推定値を偶然ではない現実的なものにするには、比較的多くの参加者を必要とする（多くの場合、40人以上）。こうした参加者は全員、まったく同じタスクに取り組まなければならない。そうでなければ、この調査で集めた数値は意味を持たない。同じタスクでのパフォーマンスを表すものにならないからだ。
ここまでの話をまとめると、定量的なユーザビリティ調査と定性的なユーザビリティ調査を融合させてはならない。なぜならば、それぞれの調査は実施方法が異なるからである。
| 相違点 | 定性的調査 | 定量的調査 |
|---|---|---|
| 主な目的 | 知見 | 指標 |
| 必要な参加者数 | 約5人 | 約40人 |
| 調査の構成の柔軟性 | タスクの指示を調整可能 | タスクの指示は全員に対して同じでなければならない |
定性調査における指標の収集と報告
では、定量的な調査と定性的な調査を融合できないというのであれば、定性調査でも指標を収集するとよいのはなぜか。
定性的なユーザビリティテストで指標を収集すると、結果を報告するときにストーリーを伝えるのに役立つ。ここで重要なのは、平均時間や成功率などの集計された統計値ではなく、個々の値を報告する必要がある、ということだ。
たとえば、フードデリバリーアプリの定性的なユーザーテストを6人の参加者で実施したとしよう。この定性調査では、タスク時間や成功率などの定量的な指標も収集した。調査結果を報告し、その結果を調査で得られた逸話で裏づけようとする際、こうした指標は問題の深刻さを伝えるのに役立つと思われるからだ。
適切：「ある参加者は、好みに合うレストランの選択肢を近所で見つけるのに苦労した。彼女は注文を決めるまでに、8分以上、閲覧したり、さまざまな検索フィルターを使ったりした」
この参加者がタスクで直面した困難さを際立たせようとして、この値単体（「8分以上」）を報告するのは問題ない。しかし、実施したのは定性調査なので、このデータを使って平均値を報告することは「できない」。
不適切：「参加者たちは、レストランの選択肢を選ぶのに平均4分23秒かかった」
この事例で平均値を報告するのは間違っている。なぜなら、そうした報告をするというのは、実際のユーザー全員でテストをすれば、同じような平均タスク時間になるだろうと期待しているということになるからだ。少数の参加者でしかテストしていないため、そのような主張をするのに十分なデータを持っていないである。（このデータの信頼区間を計算してみると、非常に広いものになるだろう）
同様に、タスクの成功率のデータについても、割合を報告することは不可能だ。
不適切：「参加者のうち16.7％しかタスクを成功させることができなかった」
繰り返しになるが、こういう報告の仕方をすると、実際よりも大きなサンプルサイズでテストしたように読み取れるし、ユーザー層全体でも同じような割合になるはずだという暗黙の主張になってしまう。しかし、このデータに基づいてそうした主張をすることはできない。
ただし、タスクに取り組んだ参加者のうちの成功した人の数を報告することは可能だ。
適切：「カスタマーサポートへの問い合わせは、調査参加者にとって非常に困難な作業だった。参加者6人のうち1人しかこのタスクを成功させることができなかった」。
こういう報告の仕方をすれば、誤解されやすい割合を提示することなく、タスクが困難なものであった、ということを伝えるという目的を達成することができるだろう。
さらに詳しくは
UX指標が重要な場合は、そのためだけの定量的なユーザビリティテストの実施を検討しよう。定量的なテストは定性調査よりもはるかにコストと時間がかかるが、指標の収集に最適だ。モデレーターなしのリモートユーザビリティテストにすれば、この手法もより実施しやすくなるだろう。 定量的なUXデータの正しい分析方法を知るには、我々の1日トレーニングコース、「How to Interpret UX Numbers: Statistics for UX」（UXの数値の解釈の仕方：UXのための統計）をチェックしてほしい。
