ユーザーとともにコンテンツをテストする方法
コンテンツを評価する際には、誰をリクルートするかに細心の注意を払おう。参加者に合わせてタスクを細かく調整し、沈黙に慣れることも必要である。
適切なデジタルコンテンツを作成するには、ユーザーがどんな人で、どのように考え、何を知っているのかを深く理解する必要がある。製品のコンテンツをユーザーにテストしてもらうことで、以下のことが判断できる：
コンテンツはいろいろな方法（たとえば、アイトラッキングや穴埋めテストなど）で評価することができるが、我々のお気に入りの方法は、ユーザビリティテストだ。コンテンツに焦点を当てたユーザビリティテストは、他のユーザビリティテストとほぼ同じように機能する。しかし、デジタル向けの文言を評価することが主目的である場合には、考慮すべき微妙な差異が数点ある。
テストの構成とファシリテーション
テーマとコンテンツについて学ぼう
リサーチャーやファシリテーターは、テストするコンテンツやそのコンテンツが属する領域についてよく知っておく必要がある。この点は調査会社で働いている人にとっては特に重要だ。そのコンテンツの分野にふれるのが初めてである可能性もあるからだ。
たとえば、投資ニュースやさまざまな経験レベル向けに書かれた複雑な金融概念の解説を提供するサイトである、Investopedia.comのコンテンツをテストするために雇われたとしよう。その場合は、まず、何時間かかけてサイトを探索し、提供されているコンテンツの種類やターゲットオーディエンスだけでなく、コンテンツについてもできるだけ多くのことを学ぶ必要がある。金融や投資にまだあまり馴染みがない場合は、後者の類の知識が特に重要になるだろう。
また、コンテンツ制作者だけでなく、その分野の専門家とも一緒に時間を過ごす必要がある。リサーチャーは、今回のテーマ（投資）の専門家になる必要はないが、参加者が何を読んでいるのかを大まかに把握しておく必要があるからだ。
モデレーターなしではなく、モデレーターありの調査を用いよう
モデレーターなしのリモート調査では、参加者は1人で作業を行い、ファシリテーターは存在しない。この種類のユーザビリティテストは費用が安価だが、コンテンツ調査には用いないことをお勧めする。ユーザーがどのようにテーマについて調べて、製品を比較し、判断を下すのかを明らかにしようとするときには、ファシリテーターが（その場に、またはリモートで）存在する、モデレーターありの調査を実施するのが最善のやり方だ。
ファシリテーターがいることで、参加者がコンテンツを自然に処理できるようになり、表面的にタスクに取り組むことがなくなるからだ。
コンテンツ調査では、ユーザーが無言でページを次々と流し読みしているだけの時間が長く続く傾向がある。（モデレーターなしのリモートテストのように）1人で放っておかれると、参加者は戸惑い、自分が役に立っているのか疑問に思うことがあるかもしれない。そして、適切なフィードバックや安心させてくれる言葉がないために、急いでテストを終わらせてしまい、表面的な方法でしかタスクに取り組まない可能性がある。この行動は、モデレーターなしのテストで一般的なセッションの短さ（20～30分のことが多い）によってさらに後押しされがちだ。
また、ファシリテーターがいることで、「この段落で少し迷っていたようですが、何を考えていたのか教えてください」など、その参加者に合わせた具体的なフォローアップや明確化のための質問も可能になる。
以下の表に、コンテンツ調査のための有益なフォローアップ質問の例をさらに挙げた。
| フォローアップ質問 | 目的 |
|---|---|
| その情報についてどう思いましたか。 その情報について何かを変えられるとしたら、それは何ですか。 わかりやすかった点、わかりにくかった点は何ですか。その理由は何でしょうか。 | 参加者にコンテンツに関して気づいた問題点や課題を共有するように促す。 |
| 「○○」という言葉はあなたにとってどういう意味ですか。 | 専門用語の意味が参加者に通じているか、またはその言葉が業界用語でもっと説明が必要かどうかを判断する。 |
| もしこれを子どもに説明するとしたら、どう言いますか。 その情報を自分の言葉で要約してください。 | 参加者が今読んだ内容を理解しているかどうかを評価する。 （コンテンツを自分の言葉ですぐにかつ正しく要約できれば、それは彼らがそのコンテンツを理解していることを示している。しかし、もし彼らがテキストを見返して、それを一語一語読む必要があるとしたら、彼らはおそらくそのコンテンツを明確には理解していないだろう）。 |
| ある人があなたにこの言葉を言ったと想像してみてください。その人は誰でしょうか。 彼らはどのような外見をしているでしょうか。また、どのような行動を取るでしょうか。 彼らはどんな仕事をしているでしょうか。 | 参加者にコンテンツの口調を説明するようにさりげなく促す。 |
注意：調査参加者と話すときには、「コンテンツ」という言葉を使わないようにしよう。一般に、ユーザーはこの言葉をコンテンツの専門家と同じ意味では考えないからだ。
沈黙に慣れよう
沈黙に慣れるというのは、あらゆる種類の調査セッションなどの進行にとって重要なことだが、コンテンツテストでは特に必要だ。
参加者が情報の処理に集中している間は沈黙の時間が長く続くことを想定しておこう。しびれを切らしてイライラしているように見えてはならない。邪魔をしたり、そわそわしたりしないようにしよう。ユーザーの作業中にあまりにも多くの質問を投げかけると、彼らの集中力が途切れ、行動が変わってしまう。
タスクの途中で質問する必要がある場合は、「何を考えているのですか」や「何を探しているのですか」などの中立的な質問にとどめ、ユーザーが答えたら、そのままタスクを続けてもらおう。質問を投げかけたいという誘惑に負けてはならない。参加者がコンテンツを読み終わり、フィードバックを提供する準備が整うまで待とう。
参加者とタスク
適切な参加者をリクルートしよう
デザインのテストは代表的なユーザーで行うことを常に目指すべきだが、コンテンツをテストする際には、適切な参加者をリクルートできるように格別に注意を払う必要がある。
コンテンツを評価する人は、あなた方のユーザー層を真に代表する人でなければならない。すなわち、彼らはそうしたユーザー層と考え方や状況、ユーザーとしての目標が同じである必要がある。あなた方の設定したタスクが、豊富なコンテンツの中をかなり調べる必要があるアクティビティである場合は特にそうだ。
言い換えれば、参加者に与えるシナリオは、実生活の中で彼らが解決しなければならない問題と一致している必要がある。UIに焦点を当てた調査とは異なり、コンテンツに焦点を当てた調査では、テスト参加者にある状況にいる「ふりをする」ことや「想像をする」ことを求めるべきではない。コンテンツ調査は、ふさわしくない参加者によって調査が無効になるリスクが高い。正確な知見を得るには、参加者の動機や予備知識がより重要になるからだ。
さまざまな種類のがんとその治療法について説明している医療参照サイトである、アメリカ国立がん研究所のサイトについて考えてみよう。このサイトのコンテンツは、患者向けのものと医療従事者向けのものがある。
重篤な病状と診断された人は、病気に興味を持っているふりをするように依頼された人よりも、コンテンツの内容に正確に共感する可能性が高い。実際の患者の場合は、感情移入の度合いが異なるだけでなく、主治医と話したり、自分で調べたりして、その病気についてずっとよく知っている可能性もある。今回のような事例では、診断された人の主介護者（たとえば、パートナーが病気にかかっている人）をリクルートすることも、その人が看病に深く関わっているのであれば差し支えないだろう。
コンテンツの価値を評価できるほど、代理のユーザーがその場で知識を習得したり、状況を把握したりすることは不可能である。コンテンツが科学的または技術的なものである場合は特にそうだ。
今回のInvestopediaの例では、コンテンツのほとんどを評価するには、投資について純粋に学びたいと思っている人をリクルートする必要がある。無作為に選んだ人だと、「優先株と普通株を理解する」というタイトルの記事を理解したり、楽しく読むための予備知識を持っていない可能性が非常に高い。そのコンテンツが特定のオーディエンスには非常に有効だからといって、世界中のすべての人にとって価値があるわけではない。
すなわち、コンテンツテストの難しさとは、誰に向けて書かれているかによって、コンテンツが有効かどうかが大きく左右されることにある。
タスクを個々の参加者に合わせて調整しよう
従来のユーザビリティ調査では、ほとんどの場合、リサーチャーは用意したスクリプトに沿って進行をし、あらかじめ設定してあったタスクを調査参加者に与えて、実行してもらう。しかし、コンテンツテストでは、各参加者が適切なタスクを実行できるように柔軟性が求められることがよくある。
調査に先立ち、一般的なタスクをいくつか用意しておいても問題はないが、参加者の状況やセッションの進行に応じて、その場で変更したり、新しいタスクを作ったりすることを厭わないようにしよう。参加者が好きなようにテーマを調べられるようにしなければならない。そうすることで、重要なことが明らかになる。非現実的なタスクを強要しないことだ。コンテンツのタスクが適正であればあるほど、そのタスクを実行する際のユーザーの行動はより自然なものになるからだ。
調査参加者がテスト環境にあるということを忘れて、アクティビティに没頭したときに最良の結果は得られる。成否を判断する単純なアクティビティ（たとえば、「広報チームの担当者を調べてください」など）であれば、参加者はうまく「ごまかす」ことをして切り抜けてしまえるかもしれない。しかし、その人の現在の状況や感情の状態に正確に一致したシナリオを用意することが不可欠な探索的タスクの場合はそうはいかない。
Investopediaの例では、このサイトにある膨大な量の記事は、さまざまなレベルの金融知識を持つ人々を対象としていて、まったくの投資初心者向けのものから（「投資の要点」）、中上級者向けのものまで（「テクニカル分析ガイド」）がある。専門的なテーマの中には、一部のオーディエンスにしか興味をもたれないようなものもある。インデックスファンドへの投資方法について知りたいと思っている人は、オプション取引のやり方を学びたいとは思わないだろうということだ。
このサイトをテストするなら、我々は各セッションの開始時に時間を取り（あるいは事前調査用のインタビューの予定を入れて）、参加者の状況について聞き取りをして、タスクのシナリオが各人の状況にぴったりと一致しているかを確認するだろう。たとえば、以下のような質問をするかもしれない：
- 株式市場への投資を始めてどのくらいになりますか。
- どのような種類の投資に馴染みがありますか（株式、投資信託、オプション取引など）。
- どのような種類の投資に興味がありますか。
さらに軽いクイズをして、さまざまな概念の定義を尋ね、この領域に関する参加者の知識を判断するかもしれない。
こうした質問をすることで、参加者の経験レベルと興味を感じ取ることができる。そして、興味を持てなかったり、関連がなかったり、（異なる経験レベルを想定して作成されたために）彼らの理解力を超えたタスクを提示したりしないで済むようにもなる。
コンテンツテストには、オープンエンドのタスクが必要なことが多い
コンテンツを適切にテストするには、対象のコンテンツに関するオープンエンド型の情報検索タスクを作成するとよい。
指示的な具体的タスク（たとえば、「フリーモント公共図書館の開館時間を調べてください」など）とは異なり、オープンエンドのタスクは明確な答えがなく、コンテンツの質と関連性を評価することを目的とする。こうしたタスクを用いて、ユーザーがどのように情報を探して調べるのか、どのような疑問を持つのか、どのように情報が伝えられることを期待しているのか、そして、あなた方のサイトが彼らのニーズを満たしているかどうかを確認しよう。
オープンエンドのタスクは、終着点があいまいなため、参加者は時間をどのように使うと一番良いのか悩みがちだ。各セッションの開始時には、自分一人でやるときのように自分のペースで作業すればよく、時間を気にする必要はないと伝えよう。
例を挙げると、Investopediaの記事、「下げ相場のときのスマートな戦略」（Smart Strategies for a Bear Market）を評価するには、参加者をそのページに連れていって、この記事についてどう思うかをただ聞くようなことをすべきではない。そういうふうにユーザーはコンテンツページにアクセスしないからだ。そうではなく、以下のような情報ニーズをタスクとして彼らに与える必要がある：
最近、株式市場が下落し続けていて、それは今後も続く見込みです。あなたは市場の低迷時の投資方法についてのアドバイスを求めています。Investopedia.comにそうしたアドバイスがないか探してみてください。
競合テストも検討してみよう。ユーザーがWeb上で自由に検索できるようにしたり、自社サイトに限定せずに競合他社のサイトも訪問できるようにしたりすることで、ユーザーのニーズに関する知見を得られることもある。貴重なテスト時間を無駄にしているのではないかと心配する必要はない。参加者が本当に代表的なユーザーであれば、そこでの洞察はきっとこれまで知らなかったものに気づかせてくれるだろう。その上、自由な探索をセッションのごく一部に限定することはいつでも可能だ。
結論
調査の主眼がコンテンツの評価である場合、コンテンツをどのように改善するかを知り、有効な結果を得るには、従来の調査手法を調整する必要がある。細心の注意を払い、現実的で、参加者の現在の状況や興味、ニーズに合ったタスクを与えるようにしよう。
我々は、アイトラッキング調査だけでなく、今回、説明した方法で何百ものコンテンツ調査を実施してきている。我々のトレーニングコース「Writing Compelling Digital Copy」（説得力のあるデジタル向け文言の書き方）をチェックして、我々が発見したことを確認してみてほしい。
