支社オフィスでのテストのため指示書
※国際ユーザビリティに関するコラムへの補足記事
ここに掲げたのは、ヨーロッパとアジアに散らばるいくつかのSun支社オフィスの人々に出した指示である。会社のウェブページの新しいデザインは、これにもとづいてユーザテストされた。場所によっては、ウェブに特定の問題に関連した指示があるので、他のプロジェクトに応用する際にはすこし変更が必要だろう。
Sunの新しいWWWページに関する国際ユーザビリティ・テストへのご協力に改めて感謝します。再デザインされたページのプロトタイプは、以下のURLでごらんいただけます。http://foo.bar/sun.categories/
すでにいくらか情報があがっていますが、グラフィックは1995年5月1日（月）まではご利用になれません。現在でも、情報構造を試してみることは可能です。5月1日以降、すぐにテストに取り掛かれるよう、ユーザの予定を抑えておくべきでしょう。
Step 1. 顧客獲得
各所在地における顧客のコンタクト情報を利用して、方々へ電話をかけ、将来的にもっとも重要と思われる相手先から典型的なユーザを集めてくる。その組織の平均的なWWWユーザでなければならない。スーパー・エキスパートや上級の管理職ではいけない（そういった人たちしかWWWを利用していない場合はやむをえない）。ページは翻訳しないで出すので、ある程度の英文読解能力は求められるが、特別英語に堪能な人でも困る（英会話の能力は必要ない）。ユーザをリクルートするにあたっては、WWWの利用経験がどれくらいかをはっきり聞くこと（WWWといって通じなければ、「Mosaic」や「Netscape」という言葉を使っても構わない）。WWWテストには、WWWの利用経験のある人が求められるが、Sunのホームページを見たことがなくても構わない。ファイルのアクセスはSun内部のネットワーク経由で行うので、ユーザにオフィスに来てもらうように依頼する必要がある。日時を特定してアポイントを取り、テストは約1時間かかることを伝える。場合によってはもう少し長くかかったり、早めに終わる場合もあることも伝えよう。
テストへの参加は、その国の人により適したユーザ・インターフェイスを構築する上で役立てられることをユーザに伝える。テストの結果は本部に伝えられるが、ユーザ自身やその所属企業の身元が明かされることはない。すなわち、結果はすべて極秘扱いとなることを伝えておこう。
Step 2. テストの準備
テスト用のワークステーションを設置する部屋を確保する。テスト中に邪魔が入らないように準備しておこう。テスト開始直前に、ドアに「ユーザテスト中、入室を禁ず」と書いた札を下げておくといいだろう。電話も外しておこう。また、テスト直前には、WWWソフトウェア（すなわち、Mosaic）の動作チェックを怠らないこと。ユーザが到着してからあわてても遅い。最後のテスト準備は、ブラウザのナビゲーション履歴を消去しておくことだ。こうして、すべてのリンク・アンカーが青色になるようにしておく（通常、ユーザが閲覧済みのリンクは紫色になる）。
遅くとも、テストの前日までにはテストタスクを母国語に翻訳しておくこと（テストタスクは以下に記述する）。テストタスクを自分でやってみて、実行可能であること、指示の意味が理解できることを確認する。この過程で、ユーザ・インターフェイスのある面が、自国のユーザにはまったく不適切だと思われる点に気がつくかもしれない。そういった問題は記録しておくこと。
Step 3. テストの実施
ユーザが到着したら、改めて、これから実施するのがユーザビリティ調査であることを告げ、Sunの新しいWWWページがどれくらい使いやすいかを調べるのが目的であることを説明する。これから試してもらうものがプロトタイプであり、まだすべてが完璧な状態ではなく、テスト中にエラーが起こりうることを説明する。
ユーザには「考えたことを発話」してもらうよう依頼する。ユーザには、ひとりごとを言い続けてもらわなくてはならない。心に思い浮かんだことは何でも、ためらうことなく発言してもらうのである。ユーザの考え、コメント、それにデザインを見て思ったこと、すべてに関心があることを伝えよう。時には些細に思えることもあるだろう。思考発話法は、多かれ少なかれ不自然な行動なので、ほとんどのユーザが途中で発話を止めてしまうから、話し続けるように催促する必要もあるだろう。ユーザが一定時間以上黙って座っていたら、こう催促するといい。「今、何を考えていますか？」
テスト中は、ユーザが話をやめないように催促する以外、あなた自身は何もしゃべってはならない。ユーザ・インターフェイスの要素の意味を聞かれても、答えてはいけない。かわりにユーザにこう尋ねるのだ。「あなたは何だと思いますか？」。必要とあれば、ユーザに大いに当て推量をしてもらおう。また、ユーザのコメントに対して同意も否定もしてはならない。ユーザのコメントを聞き取ったという確認のための発言だけにとどめること。個人的な意見は謹んで、ユーザのコメントを書き取る。実際には、ユーザの発言をすべて書き取るのは無理だ。だが、できるかぎり詳細なノートをつけておくよう心がけたい。報告書をまとめる際に役立つはずだ。
Step 4. テストタスク
タスクは2つに分かれる：探求的なものと、指示的なものだ。1時間のテスト時間のうち、30分を探求的なタスクに、20分を指示的なタスクに、約10分を事後説明（次のセクションを参照）にあてるのがよいだろう。
探求的タスク
新しいホームページを表示して、クリックする前に、そのページに関する全般的なコメントを求める。ページについてのコメントが終わったら、そのページで普段やっていることを自由にやってもらう。それ以降、残りの探求的テスト時間を使って、ユーザには自由にシステムをナビゲートしてもらう。ユーザが完全に迷ってしまったら、ホームページに戻る助けをしてやる必要があるかもしれない。だが、あまりすぐに助け舟を出さないこと。ユーザが自力でトラブルを解決する姿を見ていると、非常に得るところが大きい。
探求用時間の終りに、システム内の次の新機能を見たかどうか確認し、コメントをもらうこと
- 「What’s Happening」ページ
- ネットワーク・セキュリティについてのニュース記事
- User Interface Alert Boxというコラム（What’s Happeningの下）
- 「About this server」ページ
自由探求の過程で、ユーザがこれらのページを訪問している可能性がある。もしそうなら、再訪するには及ばない。
指定タスク
最後に、以下のタスクをユーザに与える（翻訳しておくこと）：
- 「最近、Sunから新しい低価格デスクトップ・ワークステーションが発表されたという話を聞きました。このウェブサイトから、その製品のスペック情報を見つけられますか？」
- 「最近Sunのシステムを何台か導入しました。今、そのマシン上で動作する良質のワープロを探しています。Sunプラットフォーム上で利用できるワープロ・ソフトを見つけられますか？」
これらのタスクは書面にしておくこと。テストタスクは一度に1ページずつユーザに与える（ひとつのタスクに集中してもらいたいからだ）。予定のテスト時間が終りに近づいてきたり、あるいはユーザがそわそわしてきたら、テストを中止してそれ以上のタスクは与えないように。
Step 5. ユーザへの事後説明
テストタスクが終わったら（コンピュータの前に座ったまま）、ユーザにこれでテストは終了だと告知する。デザインに関して一般的なコメントがないかどうか、ユーザに聞いてみるべきだろう。以下の2つの質問を使おう。「このシステムで特に気に入ったところはどこですか？」「このシステムで特に気に入らないところはどこですか？」ユーザからあまりコメントが出ない場合、こういう質問をしてみるとうまくいくことが多い。「行ってみたことのあるウェブ上の他のサイトと比べて、特に気に入った点、あるいは足りないと思われる点はどこですか？これだけはやってはいけない、ということは何かありますか？」
テストが終わったら、ユーザの協力に感謝し、どれほど数多くの有益な記録が得られたか、ひとこと言及しておこう。Sun本部の開発チームにそれがフィードバックされることも。文化的に許容されることであれば、参加に対する感謝の印として何らかのギフトを贈るといいだろう。既に送付済みの書籍Multimedia and Hypertextを、この目的で利用してもよい。
Step 6. 結果報告
ユーザとその所属企業の匿名性に配慮して、レポートの中にはこれを表記しないようにしていただきたい。ユーザの職務、および企業の種別については一般的な表記があれば十分である。
レポートの執筆にあたっては、テストユーザが実体験したユーザビリティ問題と、テスト準備中にあなたが気付いた点の両方を取り入れること。この2種類のデータはきちんと区別していただきたい。どの問題がユーザ・インターフェイスに対する個人的な批判で、どの問題が実際のユーザビリティ・テストで起こった出来事なのかを知りたいわけである。両方とも価値ある情報だが、扱い方は変えなくてはならない。ユーザからのデータをレポートする際には、自国のユーザにとって紛らわしいとか問題があるとユーザが指摘した場合と、ユーザ本人が実際に混乱したり問題にぶちあたったケースを区別していただきたい。
ガイドラインとして言っておくと、典型的なレポートの長さは2ページくらいになるだろう。だが、調査の結果次第で、必要に応じてこれより長くも短くもなりうる。
再デザイン計画の納期が迫っているため、レポートは、できるだけ早く電子メールでjakob@eng.sun.comあてに送っていただきたい。
参考資料
Jakob Nielsen: “Usability Engineering” （ペーパーバック版: AP Professional, ISBN 0-12-518406-9）のうち、次のセクションを参照されたい
- 6.4: Ethical aspects of tests with human subjects
- 6.6: Stages of a test
- 6.8: Thinking aloud
実際に目にするユーザビリティ問題の種別と、確立されたユーザビリティ原則に従ったその概念化手法については、Chapter 5: Usability Heuristicsを読まれたい。
