ユーザビリティテストを進行する際のチェックリスト

ユーザビリティテストを進行するのなら、今回紹介するシンプルな10ステップに従うことで、セッションをスムーズに進めることができるだろう。

定性的なユーザビリティテストを進行する際には、やるべきことや言うべきことがたくさんあるので、肝心なことをつい忘れてしまったりする。そのため、リサーチャーはチェックリストやきちんと作成したファシリテーターガイドを使うことが多い。(ファシリテーターガイドの例(英語)は、この記事の最後にある)

調査計画書やテスト計画書とは異なり、ファシリテーターガイドは、リサーチャーのために作成され、リサーチャーだけが使用する文書だ。通常、導入スクリプトと、リサーチャーが言ったりやったりするのを忘れてはならない項目のチェックリストから構成される。

この記事では、ユーザビリティテストを進行するための10のステップについて説明する。テストを計画している段階であれば、ユーザビリティテストを計画するためのチェックリストのほうを参照するといいだろう。

1. 参加者を迎え入れる

参加者が対面またはリモートのセッションに来場したところで、自己紹介をし、調査への協力を引き受けてくれたことに感謝しよう。

ここで重要なのは、参加者をリラックスさせることだ。参加者の中には、緊張していたり、この後、何が起こるのか不安な人もいるからだ。「テスト」という言葉は使わないようにしよう。自分がテストされるように参加者が感じる可能性がある(我々がテストしているのはユーザーではなく、デザインであることを忘れないようにしよう!)。 その代わりに、セッションのことは「リサーチ」(research)や「調査」(study)と表現するとよい。以下は、導入の例である。

こんにちは。はじめまして。Nielsen Norman GroupのMariaと申します。調査へのご協力に同意いただきましてありがとうございます。このセッションでは、Webサイトを提示してそれを使っていただき、その感想をお聞きする予定です。

2. 名前の発音を確認する

セッション中に参加者を止めたり、注意を引いたりする必要がある場合もある。特に名前が見慣れないものだったり、発音が何種類もありそうな場合は、参加者に名前の発音方法を必ず確認しよう。必要であれば発音を書き留めておくといいだろう。セッションの冒頭で参加者の名前を呼ぶことで、多少の信頼関係が構築され、参加者の気持ちをより解きほぐすこともできる。

始める前に、お名前の発音の仕方を確認させてください。キーアラでしょうか、キーラでしょうか。

3. 観察者と録画のことを参加者に知らせる

リクルートの段階で、参加者には観察者と録画のことを伝えておき、彼らが十分な情報を得た上で調査に参加するかどうかについての決定を下せるようにしよう。しかしながら、セッションの前にこの情報を伝えていた場合であっても、そうした細かい内容を忘れていたり、リクルートの資料で見逃していたりする可能性もあるため、参加者には観察者がいることと録画をするということを再度知らせるとよい。

私のチームのメンバーが今日のセッションを見学していることをお知らせします。彼らは、セッションには参加しませんが、私のためにメモを取ってくれることになっていますが、よろしいでしょうか。また、参加者募集のメールにあったように、セッションを録画させていただきたいと考えています。ただし、それは許可をいただけた場合に限ります。

4. 参加者に同意書への署名を求める

リモートセッションでは、チャット機能経由でオンラインフォームへのリンクを送信すると、最もスムーズに同意書を処理することができる。対面セッションでは、通常は紙の同意書に署名してもらうことになるが、電子版のフォームに記入してもらうほうがいいなら、そうしてもらうこともできる。

参加者が署名する前に、不明な点があったら質問してほしい、と伝えよう。参加者を急かすのは禁物である。

始める前に、同意書にサインをお願いします。チャットにリンクを貼り付けますので、ゆっくり目を通していただき、ご不明な点があればお知らせください。よろしければ、ご署名ください。

参加者が同意書に署名したら、(電子的に提出された場合)その同意書にアクセスできるかどうか、また、正しく記入されているかどうかを確認しよう。

参加者が調査のさまざまな条件(録画など)でオプトインまたはオプトアウトを選択できる場合は、セッションに進む前に彼らの選択結果を書き留めておくとよい。そして、参加者が録画に同意した場合、録画を開始しよう。

5. (必要に応じて)ショートインタビューを実施する

参加者の背景について多少知る必要がある場合は、ごく短いインタビューを実施するとよい。このインタビューをすることで、セッションのタスクを調整しやすくなるだろう。たとえば、ECプラットフォームをテストするのだとしたら、参加者に最近のネットショッピングでの体験について尋ねるとよい。この情報は、セッション中に参加者に与えるタスクの一部を調整したり、適切なタスクを選択するのに役立つはずだ。

ユーザビリティテストと一緒にどうしてもインタビューを実施する必要がある場合は、パイロットテストを実施して、両方の時間を確保できることを確認しよう。とはいえ、テストの結果を改変し、調査の内部妥当性を損なう可能性のある特定の行動に参加者をプライミングする可能性のある質問はしてはならない。たとえば、インタビューの質問の1つに出てきたある特定の用語が、その後、インタフェースに表示されていたりすると、参加者はユーザビリティテストのときに、何を探すべきかについての手がかりをすでに得てしまっている可能性がある。

6. 期待を管理し、(使用する場合は)思考発話法を導入する

参加者は、過去にユーザビリティテストに参加したことがない可能性が高いので、参加者の期待を設定するようにし、セッション中に何をして、何をすることはなく、どのように行動してほしいのかを伝えよう。テストを開始する前に、参加者には以下のことを伝えよう:

  • 行っていただくことは1つずつお知らせします。
  • 行っていただくことには、すぐ終わるものもあれば、時間のかかるものもあります。
  • 普段やるとおりにやってください。
  • こちらはあまり話さずに、ほとんどの時間はメモを取ることになるでしょう。
  • ご質問をいただいても、すぐにお手伝いできない可能性があります。
  • 作業をしながら考えていることを声に出して言っていただきます。

(ただし、この中にはあなた方の調査には当てはまらないものもあるかもしれない。特に、思考発話法は、定量的なユーザーテストやアイトラッキングユーザーテストでも採用されないことがよくある)

テストするのは、参加者の能力や知識ではないということをわかってもらわなければならない。そのためには、率直で正直な考えを伝えてほしいと呼びかける必要がある。

お伝えしておきたいのですが、私たちがテストするのは、お客さまではなく、デザインです。お客さまにとって意味のないことや難しいことがあれば、それこそがそのデザインを使いやすくするために私たちが知らなければならないことです。頭に浮かんだことは何でも、良いことも悪いことも、お気軽におっしゃってください。何をおっしゃってもこちらが気分を害することはありません。お客さまからのご意見・ご感想はすべて参考になります。

(注:参加者にタスクについて説明するとき、我々はそれを「活動」(activities)と呼ぶことにしている。そのほうが気楽な感じがするし、雑用(訳注:英語のtaskにはその意味もある)のように聞こえないからだ)

7. タスクを1つずつ与える

特に、タスクがシナリオになっていて、さまざまな詳細情報がタスクを完了するために必要な場合は、参加者に各タスクを書面で提供することをお勧めする。セッションが、リモートか対面かによって、チャットインタフェースまたは印刷された紙でタスクを提供すればよい。参加者がタスクを手元に持っておけるようにして、必要に応じてその都度参照できるようにしよう。

参加者がタスクを正確に読み取っているかを確認するために、タスクを声に出して読んでもらうとよい。参加者が活動を試みる前に、その内容を理解していることをチェックする必要がある。タスクを毎回、声に出して読んでもらえば、参加者が自分の考えていることをより楽に声に出して言えるようにもなる。

これからチャットで最初の活動をお知らせします。録画に残すために、活動の説明を声に出して読んでいただけますか。始める前にこの活動について何かご不明な点はありませんでしょうか。

8. フォローアップの質問をする

以下のようなフォローアップの質問を準備しておいて、参加者がタスクを実行した後、毎回尋ねるといいだろう:

  1. 今、Webサイトで行った活動について、何か感想はありますか。
  2. この活動を行ってみて、簡単なことや難しいことはありましたか。

この種の質問によって、タスクに関する情報をさらに得ることができる。(1のような)広範で自由な形式の質問で始め、(2のような)より具体的なインタフェースについての質問を行うといいだろう。

参加者の行動や発話について聞きたいと思うこともあるだろう。たいていの場合、こうした質問は、参加者がタスクを完了した後に行い、タスクを中断させないほうがよい。参加者が、自分が何をしていたのかがわからなくなったり、インタビューモードに移行したりしないようにするためだ。しかし、このベストプラクティスには、いくつか例外がある。それは、タスクが非常に時間のかかるもので、参加者が自分のしたことや言ったことを覚えておけないことが懸念され、かつ、ある事柄についてより多くの知見を集めることが調査目的にとって重要な場合である。

また、セッション中に必ずすべてのタスクを与えることが必要な場合は、質問の一部をセッションの終了時まで取っておくこともできる。

9. 質問がないか観察者に確認する

観察者が、参加者に質問がある場合、セッションの最後にそうした質問をしてもらうことが可能だ。観察者が自分で質問をしてもよいし、質問をファシリテーターに渡して、参加者に伝えてもらってもよい。どちらのやり方でもかまわないので、やりやすいと思うほうでやればいいだろう。観察者にはセッションの最後の5分間を彼らの質問のために取ってあることをあらかじめ必ず伝えておこう。

10. 参加者に感謝し、セッションを終了する

参加者に時間を割いてもらったことを感謝し、謝礼の受け取り方を伝えよう(セッションの冒頭に渡していなかった場合)。録画を終了してから、セッションがリモートの場合は、参加者に呼びかけてミーティングから退出してもらうか、ホストとしてミーティングを終了する。セッションが対面式の場合は、参加者に荷物をまとめてもらって、彼らが部屋や建物から出るのを見送ればよい。

要約

ユーザビリティテストの進行には多くのステップがあるが、このチェックリストに従えば、重要なタスクや情報を伝えそびれることもない。ファシリテーターガイドの例は以下でダウンロードできる。

ファシリテーターガイドの例(PDF)(英語)