5ユーザーでテストすれば十分な理由

ユーザビリティはお金がかかって複雑だ、ユーザーテストなんて、よっぽど予算があって、しかも時間的にも余裕があるという、めったにないプロジェクトのために取っておけばいい、と考える人もいるようだ。だが、それは違う。手の込んだユーザビリティテストは確かに資源の無駄づかいだ。もっともよい結果を得るためには、多くとも5ユーザーでテストすれば十分。そのかわり、予算が許す限り、細かいテストをたくさんやるのがよい。

以前の調査で、Tom Landauerと私は、n人のユーザーをテストしてわかるユーザビリティ問題の数は、次の式で求められることを明らかにした。

N(1-(1-L)n)

ここでNはデザイン上のユーザビリティ問題の数であり、Lはひとりのユーザーをテストして発見できるユーザビリティ問題が全体に占める割合を示している。数多くのプロジェクトを調査した結果、典型的なLの値は平均して31%であることがわかった。L=31%として曲線を描いてみると、次のようになる。

テストしたユーザー数に応じて、発見されるユーザビリティ問題の割合が増加する

この曲線から読み取れるもっとも明らかな事実は、ユーザー0人だと得られる洞察もゼロということだ。

ひとりのテストユーザーからデータを集めるだけで、得られる洞察の数は跳ね上がり、デザインのユーザビリティに関して知っておくべき洞察のうち、ほぼ1/3を学んだことになる。たとえわずかなデータでも、ゼロとの間には驚くべき違いがある。

2人目のユーザーをテストする際には、時々、この人物が最初のユーザーと同じ行動をとることに気が付くだろう。学べることには重複もあるということだ。しかし、人それぞれという面も絶対にあるので、2人目のユーザーからは、最初のユーザーには見られなかった新しい事実も得られるだろう。このように、2番目のユーザーからもいくらか新しい洞察が得られるが、その量は最初のユーザーには及ばない。

3人目のユーザーの行動は、1人目、2人目のユーザーですでに観察したのと同じものが多いだろう。中には全員に共通して見られる行動さえあるかもしれない。それに加えて、当然、3人目のユーザーからも、1人目、2人目ほどではないにせよ、わずかながら新しいデータが得られるだろう。

ユーザーの数が増えるにしたがって、学べることは減少していく。なぜなら、同じ現象を繰り返し見ることになるからだ。同じことを何度も見続ける必要は、本当のところない。もう君は、製図台に向かって、ユーザビリティ問題を解決するためにサイトの再デザインをやろうという気持ちになっていることだろう。

ユーザーの数が5人目を超えると、もはや時間の無駄だ。同じことを何度も繰り返し観察しているだけで、新たに得るところなどほとんどない。

デザインのやり直し

この曲線を見れば、デザイン上のユーザビリティ問題をもれなく見つけ出すには、少なくとも15人のユーザーをテストする必要があるということがわかる。では、どうして私は、ユーザーの数をそれよりずっと少なくするよう薦めるのだろう?

最大の理由は、1回だけ徹底的な調査をやるよりも、その予算を振り分けて小さなユーザーテストをたくさんやったほうがいいからだ。15人の代表的顧客を集めて、デザインのテストをする予算があるとしよう。よろしい。この予算を使って、5ユーザーずつ、計3回のテストを行いたまえ!

何回かテストをしたくなるのは、ユーザビリティ工学の真の目的が、単に欠点を洗い出すだけでなく、デザインを向上させることにあるからだ。5ユーザーを対象とした最初の調査でユーザビリティ問題の85%が発見できたなら、デザインをやり直して、それを直したいと思うだろう。

新しいデザインが出来上がったら、もう一度テストする必要がある。先ほど私は、最初の調査でわかった問題点は再デザインによって「修正」すべきだ、と言ったが、本当はそうではない。新しいデザインで問題を解決できた、と君が思っているだけなのだ。だが、完璧なユーザーインターフェイスをデザインできる者などいないのだから、新しいデザインが現実に問題を修正しているという保証はどこにもない。2回目のテストで、修正が本当に役立っているかどうかが明らかになる。同様に、新しいデザインを導入することで新たなユーザビリティ問題を招く危険性が常に存在する。たとえ、最初の問題が解決できたとしても、だ。

5ユーザーを対象にした2回目のテストでは、もともとのユーザビリティ問題のうち、最初のテストで発見できなかった残り15%の大部分が明らかになる。(それでも、もとの問題のうち、2%はまだ残っている。これらの発見は、3回目のテストを待たなければならない)

最後に、2回目のテストでは、サイトの基本的構造のユーザビリティについて深く追求することができるだろう。情報アーキテクチャやタスクの流れといった問題に取り組み、ユーザーのニーズに合わせ込んでいくわけだ。こういった重要な問題は、最初の調査では見過ごされがちである。ユーザーは、実際にサイトの奥深くへ進む以前の段階で、ばかげた表面的なユーザビリティ問題に引っかかってしまうのだ。

2回目のテストは、最初の調査結果に対する品質保証であると同時に、より深い洞察を得るためにも役立つわけだ。2回目のテストを行えば、再デザインによって修正しなくてはならない新しい(だが、小さな)ユーザビリティ問題のリストができあがるのが普通だ。そして、この再デザインにおいても、同じ洞察が当てはまる。すなわち、すべての修正が期待通りの働きをするわけではない。インターフェイスをすっきりさせた結果、より深い問題が浮かび上がってくるかもしれない。というわけで、同じように3番目のテストが必要になるのだ。

15ユーザーを対象にしたテストを1回やるよりも、5ユーザーで3回テストした方が、最終的なユーザーエクスペリエンスは大幅に向上する。

どうして1ユーザーでテストしないのか?

ユーザーを1人にして15回テストすれば、5ユーザーで3回テストするよりいいのではないかと思うかもしれない。先の曲線をみれば、最初のユーザーから得られる知見は、後に続くどのユーザーよりも、はるかに多いということがわかる。だったら、なぜそれ以上続ける必要がある?理由は2つある。

  • 偶然まかせにしているとか、人と変わったやり方をするとかいった気まぐれなユーザーの行動で、誤った方向へそれてしまう可能性が常に存在する。ユーザーを3人見るだけでも、ユーザー行動の多様性が理解でき、どれがユニークで、どれが一般的なのかも十分わかるだろう。
  • テストのスタイルにもよるが、ユーザーテストにおける費用対効果の分析結果は、ユーザーが3~5人の時、理想的な比率となる。テストの企画や実施には、固定の初期費用がかかる。ユーザーを複数テストすることで、この初期費用を分散し抑える方がいい。

より多くのユーザーでテストすべきとき

ウェブサイトに、かなりはっきりした違いのあるユーザー集団がいくつか存在することがわかったら、ユーザーを追加してテストする必要がある。先に述べた公式は、サイトの使い方にある程度共通点のあるユーザーにしか当てはまらない。

例えば、子供と大人の両方が利用するサイトなら、2つのユーザーグループはかなり異なった行動をとるだろうから、両方のグループから人を招いてテストする必要が出て来るだろう。購買代理人と販売スタッフを結びつけるためのシステムでも、同様のことが当てはまるだろう。

ユーザーグループに相当違いがある場合でさえ、両グループの観察結果にはかなり共通点があるだろう。結局、どんなユーザーも人間なのだ。同様に、ユーザビリティ問題の多くは、人間がウェブを操作する時の基本的なやり方とか、ユーザー行動についての他のサイトが与える影響などに関連している。

異なったユーザーグループを複数テストする場合、各グループから被験者を選びだすにあたって、単一グループに対して1回テストする時ほど数はいらない。各グループからの人数は少なくても、これらの観察がオーバーラップして、よりよい結果が得られるだろう。私が推薦したいのは…

  • ユーザーグループが2つの場合は、各カテゴリからユーザー3~4人ずつ
  • ユーザーグループが3以上の場合は、各カテゴリから3ユーザーずつ(同一グループ内での行動の多様性を確実にカバーするためにも、少なくとも3ユーザーは必要だろう)

参考情報

Nielsen, Jakob, and Landauer, Thomas K.: “A mathematical model of the finding of usability problems,” Proceedings of ACM INTERCHI ’93 Conference (Amsterdam, The Netherlands, 24-29 April 1993), pp. 206-213.

さらに読む

公開:2000年3月19日(原文:2000年3月19日)
著者:ニールセン博士
原文:Why You Only Need to Test with 5 Users

分類キーワード:

↑次の記事:
↓前の記事: