Webサイトのユーザビリティテストにかかるコスト
初めてのウェブサイトのユーザビリティテストには39時間を要する。この見積りには、テストの計画、テストタスクの定義、テストユーザのリクルーティング、5ユーザを対象にしたテスト、結果の分析、レポートの執筆が含まれている。経験を積めば、ウェブユーザテストは、実働2日で完了できる。
Technical University of Denmarkでの最近のプロジェクトでは、Rolf MolichとChristian Gramの両名は、ユーザ・インターフェイス・デザイン教科の一環として、商業ウェブサイトのユーザビリティ・テストを実施し、学生50チームから上がってきたデータを集計した。各チームが費やした時間の平均は39時間だった。加えて、学生たちは、テストの方法論についての講義を15時間受講している。これらの数字は、あなたが、初めて自分のサイトをユーザテストしようと決めた場合に想定される必要時間の見積り上限値である。
経験を積めば、もっとすばやくサイトのユーザテストを済ませることが可能だ。適切なテストタスクは1、2時間もあれば書ける。リクルーティングはアウトソースできる。フォーカス・グループ会社に依頼すればいい（5ユーザなら1000ドル以下のコストで済む）。実際のテストは1日でできる。その後数時間もあれば、結果の分析ができるだろう。もしあなたがデザインチームのメンバーなら、読む人もいないのに、詳細なレポートを書き上げる必要はない。レポートは1時間のミーティングに、2、3時間で書ける程度の要約を追加すれば十分だろう。以上を合計すると、要領さえわかってしまえば、ディスカウント版ユーザビリティ調査には実働2日しかかからない。
専門家ならもっと効率よくことを進められるだろう（それによりいい結果も出せるはずだ）が、まったくの初心者でも、完全なウェブ・ユーザビリティ・プロジェクトを一週間以内に完了できるというのは励みになる。ユーザがあなたのサイトで困難を強いられている言い訳として、「限られた予算」と「時間不足」というのは通用しないことが実際に証明された。
学生たちは、デンマークの大規模サイトを9つテストした。うち、7サイトはデンマークの大手企業、それにその大学自身のサイト、さらに大学図書館のサイトであった。
ユーザビリティ問題をその深刻さに従って順位付けしたところ、各サイトは平均して以下のような問題を抱えていることがわかった。
- 破滅的なユーザビリティ問題が11件
- 深刻なユーザビリティ問題が20件
- 表面的な問題が29件
この調査で「破滅的」と定義されたユーザビリティ問題とは、ユーザのタスク遂行の妨げになったようなもののことを指している。「深刻」な問題とは、それによってタスク遂行が不可能にはならなかったものの、かなりユーザを手間取らせた問題。「表面的」な問題は、ユーザを少し手間取らせたり、あるいはユーザの悩みの種になったりして、ユーザがそのことを口頭でコメントした場合を指す。
大手商用サイトがこれほど多くのユーザビリティ問題を抱えていることには、私はまったく驚いていない。実際、MolichとGramの両名は、今回の調査では判明しなかったものの、これらのサイトはもっとたくさんの問題を抱えているはずだと書いている。なぜなら、学生は各サイトの一部しかテストしなかったからだ（とはいえ、もっとも重要な部分を集中的に対象にしたはずではあるが）。
デンマークの学生たちが発見したユーザビリティ問題のほとんどは、英語圏のサイトで過去5年間に私たちが発見した問題と共通していた。こういった共通性が生まれたのは、この調査が国内向けのユーザビリティ（デンマーク人ユーザがデンマークのサイトを審査した）を対象にした調査であったせいであり、国外向けのユーザビリティ（デンマーク人ユーザが、例えば、アメリカのサイトを審査する）調査を行ったからこうなったわけではない。国外向けのユーザビリティに関しても、いくつかの問題点が判明している。サイトの中にはデンマーク語、英語、両方のコンテンツが含んでいるものがあったからだ。中には、まったく予告なしに言語を切り替えてしまうサイトもあった。リンクをたどっていくと、ユーザは思いがけない目に遭ってしまうわけだ。多言語検索も問題のタネとなる。英語版の検索ページで検索した場合、デンマーク語のページも検索対象にしてくれるかどうか、ユーザは確信を持てなかったからだ。多言語検索には他にも問題があるが、これらは1996年8月発表の国際ユーザビリティについてのAlertboxで取り上げている。だが、このテーマに関しては、あまりにも少ししかわかっていないので驚かれるだろう。
合衆国内の15の商業サイトを対象にした調査で、Jared Spoolとその協力者たちが発見したのは、特定の情報を見つけようとして、ユーザが首尾よく成功する確率は全体の42％しかないということであった。「全体的な使いやすさ」を評価してもらったところ、これらのサイトには1～7の範囲（7が最高）で4.9という評価が出た。中間値より、いくぶんか上の評価である。後者の結果を見れば、単にそのサイトが気に入ったかどうかを聞くだけでは十分とは言えないことが、はっきりわかるだろう。彼らは礼儀正しく振舞おうとして、たとえ、そのサイトが使えなくても、比較的高い評価を与えてしまうのである。
これらの統計から、あなたのサイトのユーザビリティ調査の基準値として以下のような興味あるポイントが浮かび上がってくる。
- 平均的なサイトは、11の破滅的ユーザビリティ問題（テストタスクの遂行を妨げるようなデザイン要素）を抱えている
- 平均的にみて、テストタスクを遂行できるユーザは42％しかいない
- ウェブサイトについてのユーザの主観評価は、1～7の範囲でいうと、平均して4.9になる
サイト開発に際して、システマチックなユーザビリティ工学手法を適用していないとすれば、あなたのスコアは、おおむねこのリストで示したラインに落ち着くはずだ。これ以下ということも珍しくない。
テスト範囲
ウェブ・ユーザビリティ問題は、以下の2つのカテゴリーに分類される。
- サイトレベルのユーザビリティ: ホームページ、情報アーキテクチャ、ナビゲーション、検索、リンク方針、デザインの焦点をどちらに置くか（内部 vs. 外部）、全般的執筆スタイル、ページテンプレート、レイアウト、サイト全体のデザイン基準、グラフィック言語やよく使われるアイコン
- ページレベルのユーザビリティ: 各ページに特有の問題、見出し・リンク、説明は理解しやすいか、フォームやエラー・メッセージは直感的か、特定の情報を入れるか／入れないか、個々のグラフィックやアイコン
ユーザビリティ・テストを5ユーザを対象に行えば、通常、サイトレベルのユーザビリティ問題の80％が判明する。これに加えて、たまたまユーザがテスト中に訪れたページのページレベル・ユーザビリティも、その半数を発見できるだろう。ページレベルの問題のカバー率が低くなるのは、ユーザによって訪れるページが違うからだ。このため、たいていのページは、テストしたユーザの数が5人以下になるので、デザイン問題の80％を発見するのには不足するわけだ。ユーザ2人でテストすると、通常、デザインのユーザビリティ問題の半数が発見できる。ページレベルの問題の発見率は、これを元にして見積もっている。
もちろん、大規模なサイトでは、どのテストユーザも訪れないページというのが大部分を占めるだろう。よって、サイトのユーザテストのメイン・ゴールは、サイトレベルの問題の発見に置かれるべきである。もちろん、ユーザがたまたま訪れたページの問題を修正できるように、ページレベルの問題も控えておこう。ページレベルのユーザビリティ問題を見つけれれば、ページレベルの問題があなたのサイトに与える影響がどの程度のものか、より深く理解できるようになる。ここがもっとも重要な点だ。また、特定の問題群は、ページデザインの典型的な落とし穴のリストを作成する上で、叩き台として活用できる。このリストは、後々、ページのデザインをする上で特に注意を要する点となるだろう。
特に重要なページに関しては、専門のユーザテストを行ってもよい。これによって、ページレベルのユーザビリティ問題は、より幅広くカバーできるだろう。例えば、登録ページ、ユーザが実際に買い物をするページ、ダウンロードするページなどは、テストするとよいことが多い。取引完了まで進むユーザの数を、かなり増やすことができる。
これ以外のほとんどのページでは、他の手法、例えば発見的評価法や、コンテンツ開発者にウェブ・ユーザビリティを改善するための原理を教えることで、ページレベルのユーザビリティを向上させる必要がある。ページレベルの担当者にウェブユーザビリティの理解を深めてもらうには、何度かユーザテストの現場に来てもらうというのも一法だ。たとえテストしているのが他人の作ったページであっても、テストを1回か2回観察するだけで、ユーザがどのようにウェブページを操作しているか、実に多くのことを学べるだろう。
テストユーザの数によって発見できるユーザビリティ問題数の見積りは、私がTom Landauerと共同で行ったプロジェクトから得たものだ。くわしくは、私の著書Usability Engineering、およびLandauerの著書The Trouble With Computers: Usefulness, Usability, and Productivityを参照されたい。
1998年5月3日
