ユーザビリティテスト参加者のリクルーティング
ユーザビリティプロセスを効果的に進めるには、テストユーザのリクルーティングが簡単にできることが必須である。ユーザひとりあたりの平均コストは 171 ドルだが、場所やターゲットとなる職種しだいで、かなり大きく変動する。
今では、ほとんどの企業が、自社サイト、イントラネット、ソフトウェア、ハードウェア、その他、ユーザインターフェイスが関係するプロジェクトについて、ユーザビリティ向上の必要性を認めている。また、多くの企業は、ユーザビリティ工学の道具箱の中でもっとも迅速で簡便な手法が、ユーザテストであることも知っている。（残念ながら、道具箱の中の他のツールは、あまり知られていない。同様に、プロジェクトライフサイクルの中で複数のユーザビリティ手法を組み合わせる効果的な方法を知っている人もあまりいない。だが、これに関しては後日触れることとする。）
ユーザテストに信頼を寄せる人は多いが、デザインプロジェクトの現場では、テストはそれほど実施されていない。どうして気持ちと行動に矛盾があるのだろう？それは主として、企業には、デザイン上の判断に直面した際に、手っ取り早く小さなテストを行う能力が欠けているからだ。進行の速い開発プロジェクトで要求される締め切りに合わせて、この種のテストを実施できる組織は少ない。テストへの対応力が不足していると、テストは（うまくいっても）各プロジェクトにつき一度あるかどうかの、珍しい貴重なイベントになってしまう。
プロジェクトでのテストが一発勝負となると、必然的に、ユーザビリティテストは、デザインが完璧に仕上がるまで先延ばしということになる。たいていのプロジェクトでは、満足できるユーザ体験品質の実現するために、複数回のテストと再デザインが必要ということは、20年の経験からも一致した見解が出ているというのに、あいかわらずこういった現象が後を絶たない。また、ユーザビリティ問題は、プロジェクトの初期段階で発見して修正した方が100倍も安くつくというのも、同じくらいはっきりわかっていることだ。
ユーザテストの単純化
ユーザビリティ手法を正しく取り入れる企業の数を増やすには、正しいことが簡単に安価にできるようにしなくてはいけない。
以下は、単純化したユーザテストのための3つのルールである。
- 代表性の高いユーザを集めること
- 対象デザインを使って、代表的なタスクを実行してもらうこと
- だまってユーザの話を聞くこと
3つめのルールは驚くほど難しい。2番目のルールをきちんと守るには、ある程度の経験が必要だ。だが、ユーザテストを手早く頻繁に実施する上で最大の障害は、1番目のルールに合致する血の通った人を見つけることなのだ。来週の水曜日、指定時刻に顧客を5人呼んでくる手段を持っている企業はほとんどない。だが、ユーザビリティ調査を成功させるには、これが必要なのだ。
参加者のリクルーティングは、地味ではあるが、あらゆるユーザテストの基礎となる。リクルーティングできなければ、ユーザを呼べない。システマチックなリクルーティングプログラムを用意しておけば、ユーザビリティテストの頻度も目に見えて増えるし、リクルーティングしだいで、テスト結果の品質にもすぐに違いが出てくる。
リクルーティング：その最新事情
ユーザビリティ調査参加者リクルーティングの現状を調べるため、2002年末、Nielsen Norman Group はユーザビリティのプロ201人を対象にアンケート調査を行った。現在のデザインプロジェクトにおいてリクルーティングがいかに行われているかをレポートしたかったので、バイアスを承知の上で、ユーザビリティテストとリクルーティングに積極的に従事している者を回答者に選んだ。ほとんどの企業は現在ユーザテストを実施していないから、当然、テスト参加者のリクルートもやっていない。ここに報告する結果は、ユーザビリティテストを実施している企業の実態だけを扱っている。
回答者の54％は合衆国、8％が英国、7％はカナダ、5％がオーストラリアであった。欧州の回答者は全体の14％。この他、ブラジル、中国、エクアドル、インド、イスラエル、メキシコ、ニュージーランド、シンガポール、それに南アフリカの回答者も含まれている。ユーザビリティテスト、および参加者のリクルーティングが、世界的な現象であることは明らかだ。
リクルーティング専門業者
ほとんどの企業は、テスト参加者のリクルートを自社でまかなっていた。リクルーティング専門の代理店に依頼する際のコストが原因になっていると思われる。外部のリクルート代理店を使っていたのは回答者のうち36％しかなかった。こういった企業は、自社でリクルーティングすることも多い。テスト参加者はすべて外部の代理店を通じて集めているという企業は、回答者全体の9％しかなかった。
リクルーティング代理店のコストはかなりの額になる。平均すると、参加者ひとりあたりの代行料は107ドルだった。居住地によって、料金は大きく異なる。もっとも高額だったのは合衆国の西海岸で、参加者ひとりあたり平均125ドル。自らの痛い経験を通じて学んだことであるが、シリコンバレーは仕事するのに金のかかる場所であるだけでなく、調査ズレしていない人間を見つけるのにも人一倍苦労する土地なのだ。
自社でリクルーティングしている企業では、平均して、参加者ひとりあたりのリクルートにスタッフが1.15時間を費やしている。回答者の24％は、参加者ひとりあたり2時間以上かかると回答している。あらかじめリクルーティングの段取りを整え、スペシャリストを用意しておかないと、自社でのリクルーティングは割の合わないことになりかねない。
また、ユーザのプロフィールしだいで、リクルーティング費用は変わってくる。一流の専門家をリクルートする（ひとりあたり161ドル）のと、平均的な消費者や学生をリクルートする（ひとりあたり86ドル）のでは、代理店の料金が2倍変わってくるのも無理はない。
テスト参加者へのインセンティブ
イントラネットやMISシステムといった内部的なテストでは、参加者に金銭的なインセンティブ（報奨）を与えていた企業は全体の10％しかなかった。これは、私の説とも一致する。企業は、社員にユーザビリティテストの参加料を払う必要はない。なぜなら、すでに彼らは給与の形で時間報酬を受け取っているからだ。
全体の約1/3（35％）は、内部テストの参加者に対して、金銭以外のインセンティブを提供していた。ちょっとしたギフト、たとえば図書券とか、社員食堂のランチ券といったものが典型的だ。
これと対照的に、テスト参加のインセンティブとして、外部からリクルートしてきた参加者には現金を支払う企業が多い。外部ユーザの63％は金銭報酬を、41％は非金銭的インセンティブを受け取っていたが、9％は無償だった。（数字を合計すると100％を超えるのは、金銭と非金銭、両方のインセンティブを受け取った幸運な外部参加者がいたからだ）。
外部ユーザへ支払われたインセンティブの平均は、テスト1時間あたり64ドルだった。合衆国西海岸が最も高くて、1時間あたりの平均は81ドルになった。
インセンティブは、ユーザのプロフィールでもさらに変わってくる。一流の専門家は、非専門ユーザの4倍ちかい額を受け取っている（1時間あたり平均で118ドル vs. 32ドル）。
欠席率
回答者によれば、平均欠席率は11％。つまり、ユーザ9人につき1人は約束どおりに来ない人がいる計算になる。だが、天候や交通状況、突発的な個人的事情といった不測の事態によって、欠席率は毎回調査のたびに大きく変化する。よって、ユーザ5人で「標準」的かつシンプルなテストを実施する際に、欠席者が1、2人出るのは珍しいことではない。
欠席者を最小限に抑え、もし欠席者が出てもその被害を最小限に食い止めるコツはたくさんある。だが、残念ながら、この問題を根本的に除去することはできない。欠席者は非常に頭の痛い問題で、だから、私も、テスト参加者にはかなり高額なインセンティブを与えるように言っている。彼らの普段の時給が比較的低い場合でも変わりはない。
システマチックなリクルーティングへの第一歩
参加者のリクルーティングをユーザ体験プロセスの重要な構成要素ととらえるように、強くお薦めしたい。リクルーティングの方法を確立し、システム化するほど、ユーザビリティデータが必要なときに調査を実施しやすくなる。
企業の規模が小さかったり、あるいは過去にユーザテストの経験がかなりある場合なら、専門のリクルーティング代理店へ依頼することを検討してみるのがいいだろう。代行料を払う余裕がないとか、自社でリクルーティングの専門家を雇うほどは調査の機会がないというのなら、もちろん、自前でテスト参加者をリクルートすればいい。経験を積むうちに、だんだん手慣れてくるだろう。
いずれにせよ、リクルーティングに関するベストプラクティスにしたがうことで、ユーザビリティプログラムの全体的コストを削減でき、テスト結果の正当性を高めることができる。間違ったユーザを連れてきたり、ユーザの数が足りなかったりすると、ユーザビリティ調査をしても望むような結果は出ず、信頼性も犠牲になりかねない。
くわしくは
テストユーザのリクルーティングに関する233のコツを含む145ページのレポートがダウンロードできる。
