5人のユーザーでテストすれば十分な理由
手の込んだユーザビリティテストはリソースの無駄づかいだ。最高の結果を得るためには、5人以下のユーザーでテストし、小規模なテストを余裕のある限りたくさんやることだ。
ユーザビリティはお金がかかって複雑だ、ユーザビリティテストなんて、よっぽど予算があって、しかも時間的にも余裕があるという、めったにないプロジェクトのために取っておけばいい、と考える人もいるようだ。だが、それは違う。手の込んだユーザビリティテストは確かにリソースの無駄づかいだ。最高の結果を得るためには、多くとも5人のユーザーでテストすれば十分。そのかわり、小規模なテストを余裕のある限りたくさんやることだ。
以前の調査で、Tom Landauerと私は、n人のユーザーでテストしてわかるユーザビリティ問題の数は、次の式で求められることを明らかにした。
N(1-(1-L)n)
ここでNはデザイン上のユーザビリティ問題の数であり、Lは1人のユーザーでテストして発見できるユーザビリティ問題が全体に占める割合を示している。数多くのプロジェクトを調査した結果、典型的なLの値は平均して31％であることがわかった。L=31％として曲線を描いてみると、次のようになる。
この曲線から読み取れるもっとも明らかな事実は、ユーザーが0人だと得られる洞察もゼロということだ。
ひとりのテストユーザーからデータを集めるだけで、得られる洞察の数は跳ね上がり、デザインのユーザビリティに関して知っておくべき洞察のうち、ほぼ1／3を学んだことになる。たとえわずかなデータでも、ゼロとの間には驚くべき違いがある。
2人目のユーザーでテストする際には、ときどき、この人物が最初のユーザーと同じ行動をとることに気がつくだろう。学べることには重複もあるということだ。しかし、人それぞれという面も絶対にあるので、2人目のユーザーからは、最初のユーザーには見られなかった新しい事実も得られるだろう。このように、2番目のユーザーからもいくらか新しい洞察が得られるが、その量は最初のユーザーには及ばない。
3人目のユーザーの行動は、1人目、2人目のユーザーですでに観察したのと同じものが多いだろう。中には全員に共通して見られる行動さえあるかもしれない。それに加えて、当然、3人目のユーザーからも、1人目、2人目ほどではないにせよ、わずかながら新しいデータが得られるだろう。
ユーザーの数が増えるにしたがって、学べることは減少していく。なぜなら、同じ現象を繰り返し見ることになるからだ。同じことを何度も見続ける必要は、本当のところない。もうあなたは、製図台に向かって、ユーザビリティ問題を解決するためにサイトの再デザインをやろうという気持ちになっていることだろう。
ユーザーの数が5人目を超えると、もはや時間の無駄だ。同じことを何度も繰り返し観察しているだけで、新たに得るところなどほとんどない。
デザインのやり直し
この曲線を見れば、デザイン上のユーザビリティ問題をもれなく見つけ出すには、少なくとも15人のユーザーでテストする必要があるということがわかる。では、どうして私は、ユーザーの数をそれよりずっと少なくするよう薦めるのだろう？
最大の理由は、1回だけ徹底的な調査をやるよりも、その予算を振り分けて小さなユーザビリティテストをたくさんやったほうがいいからだ。15人の代表的顧客を集めて、デザインのテストをする予算があるとしよう。よろしい。この予算を使って、5人ずつ、計3回のテストを行おう！
何回かテストをしたくなるのは、ユーザビリティ工学の真の目的が、単に欠点を洗い出すだけでなく、デザインを向上させることにあるからだ。5人のユーザーによる最初の調査でユーザビリティ問題の85％が発見できたなら、デザインをやり直して、それを直したいと思うだろう。
新しいデザインが出来上がったら、もう一度テストする必要がある。先ほど私は、最初の調査でわかった問題点は再デザインによって「修正」すべきだ、と言ったが、本当はそうではない。新しいデザインで問題を解決できた、とあなたが思っているだけなのだ。だが、完璧なユーザーインターフェイスをデザインできる者などいないのだから、新しいデザインが現実に問題を修正しているという保証はどこにもない。2回目のテストで、修正が本当に役立っているかどうかが明らかになる。同様に、新しいデザインを導入することで新たなユーザビリティ問題を招く危険性が常に存在する。たとえ、最初の問題が解決できたとしても、だ。
5人のユーザーによる2回目のテストでは、もともとのユーザビリティ問題のうち、最初のテストで発見できなかった残り15％の大部分が明らかになる。（それでも、もとの問題のうち、2％はまだ残っている。これらの発見は、3回目のテストを待たなければならない）
最後に、2回目のテストでは、情報アーキテクチャ、タスクの流れ、ユーザーニーズとのマッチングといった問題を評価ししながら、サイトの基本的な構造のユーザビリティについて深く追求することができるだろう。こういった重要な問題は、最初の調査ではしばしば見過ごされがちである。ユーザーは、実際にサイトの奥深くへ進む以前の段階で、くだらない表面的なユーザビリティ問題につまずいてしまうのだ。
2回目のテストは、最初の調査結果に対する品質保証であると同時に、より深い洞察を得ることにも役立つ。2回目のテストを行えば、再デザインによって修正しなくてはならない新しい（だが、小さな）ユーザビリティ問題のリストができあがるのが普通だ。そして、この再デザインにおいても、同じ洞察が当てはまる。すなわち、すべての修正が期待通りの働きをするわけではない。インターフェイスをすっきりさせた結果、より深い問題が浮かび上がってくるかもしれない。というわけで、同じように3番目のテストが必要になるのだ。
15ユーザーによるテストを1回やるよりも、5ユーザーで3回テストしたほうが、最終的なユーザーエクスペリエンスは大幅に向上する。
なぜ1ユーザーでテストしないのか？
ユーザーを1人にして15回テストすれば、5人のユーザーで3回テストするよりいいのではないかと思うかもしれない。先の曲線をみれば、最初のユーザーから得られる知見は、後に続くどのユーザーよりも、はるかに多いということがわかる。だったら、なぜそれ以上続ける必要がある？理由は2つある。
- 偶然に、または代表的でないやり方である行動をとる一個人の偽りの行動によって、誤った方向へ逸れてしまう恐れは常にある。ユーザーを3人見るだけでも、ユーザー行動の多様性が理解でき、どれがユニークで、どれが一般的なのかも十分わかるだろう。
- テストのスタイルにもよるが、ユーザビリティテストにおける費用対効果の分析結果は、ユーザーが3～5人のとき、理想的な比率となる。テストの企画や実施には、固定の初期費用がかかる。複数のユーザーでテストすることで、この初期費用を分散し抑えるほうがいい。
より多くのユーザーでテストすべきとき
ウェブサイトに、かなりはっきりした違いのあるユーザー集団がいくつか存在することがわかったら、ユーザーを追加してテストする必要がある。先に述べた式は、サイトの使い方にある程度共通点のあるユーザーにしか当てはまらない。
例えば、子供と大人の両方が利用するサイトなら、2つのユーザーグループはかなり異なった行動をとるだろうから、両方のグループから人を招いてテストする必要が出て来るだろう。購買担当者と販売スタッフをつなぐことを目的としたシステムでも、同様のことが当てはまるだろう。
ユーザーグループに相当違いがある場合でさえ、両グループの観察結果にはかなり共通点があるだろう。結局、どんなユーザーも人間なのだ。同様に、ユーザビリティ問題の多くは、人間がウェブを操作するときの基本的なやり方や、ユーザー行動についての他のサイトが与える影響などに関連している。
異なったユーザーグループを複数テストする場合、各グループから参加者を選びだすにあたって、単一グループに対して1回テストするときほど数はいらない。各グループからの人数は少なくても、これらの観察がオーバーラップして、よりよい結果が得られるだろう。私が推薦したいのは…
- ユーザーグループが2つの場合は、各カテゴリからユーザー3～4人ずつ
- ユーザーグループが3以上の場合は、各カテゴリから3人ずつ（同一グループ内での行動の多様性を確実にカバーするためにも、少なくとも3人は必要だろう）
参考文献
Nielsen, Jakob, and Landauer, Thomas K.: “A mathematical model of the finding of usability problems,” Proceedings of ACM INTERCHI ’93 Conference (Amsterdam, The Netherlands, 24-29 April 1993), pp. 206-213.
フォローアップ記事
- この記事で論じた問題の新たな分析：ユーザビリティ調査では何人でテストするのか
- 定量調査（ユーザビリティメトリクス）：20人のユーザーでテスト
- カードソーティング：15人のユーザーでテスト
更新履歴
2023年11月21日：本文中の翻訳の見直し、図中の言葉の翻訳、Alertbox本家の記事（https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/）の更新にともなう追加・変更などを行いました。
