UXの新しい習慣：
効果を示すためのベースラインの設定
チームがその効果を示せるように、プロジェクトを開始する前にベースライン指標を収集しよう。
納期と限られたリソースを考えると、初期段階のデータ収集を省くことは効率的な選択に思える。しかし、比較対象となるベンチマークがなければ、改善を示すことはできない（心配は無用である。UXにおける無駄を減らすための別の方法もある）。
実際、UXチームが自らの価値を損なう最も一般的な原因の一つは、仕事の質が低いことではなく、測定するタイミングが遅すぎることである。初期のベンチマーク測定を省くのではなく、着手前にベースラインを設定することを習慣化し、優先するべきである。そうすれば、自分たちの取り組みの成果が見えるようになる。
ベースラインとは何か
ベースラインとは、意味のある基準に照らして製品やサービスの相対的なパフォーマンスを評価するための、最初のベンチマークである。
ベンチマークを用いて効果を示すための第一歩は、比較の基準となるベースラインを設定することである。「改善後」に意味を持たせるには、「改善前」が必要である。
英語の「ひもの長さはどれくらいか」という言い回しに似ている。腕や巻き尺など、比較するものがなければ、ひもの長さは判断できない。価値を示す場合も同じである。
明確なベースラインがあれば、その後の結果に意味が生まれる。再デザイン前のタスク完了率が48％、再デザイン後が67％であれば、この19ポイントの上昇によって結果を示せる（実際に統計的に有意であることが前提である）。48％という値がなければ、67％は単なる数字にすぎない。デザイン上の介入がなかった場合と比べて、良いのか、悪いのか、おおむね予想どおりなのかはわからない。
ベースラインは比較以上の役割を果たす
ベースラインは、タスク実施後の指標を比較できるようにするだけでなく、UXの価値を高める。UXチームは、効果を生み出せる別の領域を特定し、ステークホルダーからの信頼を築く機会を得られる。
ベースラインを特定することを習慣化することで、より広範な探索的調査へ自然に着手できるようになる。デザインを始める前に現在の体験を測定すると、ユーザーが製品をどのように利用しているかについて、新たな情報を得られる可能性が高い。ユーザーが苦労している点について追加の情報を発見し、理解が不十分な領域を詳しく明らかにできるかもしれない。実務担当者がどの指標をベンチマークとして測る必要があるかを特定しようとすることで、何を対象にし、何を変えるべきかが、より明確になる（ただし、虚栄の指標を追い求めてはならない）。
しかし、ベースラインには、比較を可能にすることに加えて、報告段階により直接的な効果を及ぼすという側面もある。意図を持ってベースラインとベンチマークを構築するために時間をかければ、その重要性をチームが主張する際の信頼性が高まる。
初期のデータ収集を省きながら、過去のデータや既存のアナリティクス環境からベースラインも設定し、両方の利点を得ようとするチームもあるだろう。これは非常によく行われている方法であり、明確な意図とデータへの十分な理解に基づいて実施すれば、優れた選択肢になり得る。
しかし、この代替手段を一貫したベースライン測定方法として用いることはできない。データが別の目的で収集されていた場合、欠損や不足があるかもしれない。
そのようなデータをベースラインとして提示すると、チームが行った変更をすべて捉えられなかったり、実際に生み出した効果を誤って表したりする可能性がある。
事前に記録されたデータをチームが十分に理解し、意図を持って活用する準備ができているのでなければ、既存のデータを不適切な用途に当てはめようとするより、早期に測定する習慣を身につけるほうが容易である。
ベースラインを選ぶ際のベストプラクティス
どのような習慣を身につける場合も、第一歩は、無理なく適切だと感じられるかたちで取り入れることである。時間と費用を浪費する一般的な誤りを避ければ、長期的なベンチマークの実践を続けやすくなる。
容易さより関連性を優先する
最も一般的な誤りは、対応しようとしているユーザー行動を直接反映する指標ではなく、収集しやすい指標を選んでしまうことである。ページビューやセッション時間はアナリティクスから簡単に取得できるが、プロジェクトの目的がチェックアウトフローをわかりやすくすることであれば、どちらの数値からも得られる情報は多くない。必要なのは、チェックアウト完了率、特定のステップでのエラー率、購入完了までの所要時間など、行動そのものにより近い指標である。
候補となる指標が有用かどうかを確かめるには、「この数値が改善した場合、それは変更した対象についてユーザーの体験が向上したことを意味するか」と問うとよい。答えを導くために何段階もの推論が必要なら、その指標はおそらく間接的すぎる。明らかに「はい」と答えられるなら、適切な領域を測定している。
1つの指標を追跡する
指標を1つ選び、その指標に専念する。5つの指標を追跡しても、1つを追跡するより厳密になるわけではない。単に、望ましい方向に動いた指標だけを報告できる状況を生む。それは都合のよい結果だけを取り上げる行為の1つであり、時間の経過とともに信頼を損なう。プロジェクトの開始前に選んだ、適切な1つの指標の方が、結果が出た後に寄せ集めた複数の指標より、はるかに説得力がある。
態度指標より行動指標を優先する
行動指標は、アナリティクスや計測の仕組みから得られ、ユーザーが実際にどのように行動したかを反映する（例：完了率、エラー率、離脱率、再訪率）。態度指標はユーザーから直接得られ、多くの場合はアンケート調査によって収集されるもので、ユーザーがどのように感じたか、またはどのような態度を持ったかを反映する（例：知覚された容易さ、満足度、自信）。
どちらも妥当な指標だが、測定する対象は異なる。行動指標は何が起きたかを示し、態度指標はそれをどのように感じたかを示す。価値を示すという目的の大半においては、行動指標の方が解釈の余地が少ないため、根拠として示しやすい。
選択する指標は、ステークホルダーに対して、あることを伝える役割も果たす。キックオフ時に行動と結びついた具体的な測定指標を示し、終了時にその結果を報告すれば、説明責任を果たすことを計画していたと示せる。つまり、価値を明らかにすることが後づけではなく、プロジェクトの当初から組み込まれていたことを示せるのである。
実務でベースラインを設定する方法
指標を選んだ後のベースライン設定は、3つのステップで済むほど簡単な場合がある。各ステップ自体は単純だが、重要なのは、作業を始める前にそのステップを踏む習慣を身につけることである。
1. 現在の体験を測定する
ベースラインの設定方法は、何を測定するかによって異なる。行動指標では、通常、既存のアナリティクスを利用するか、必要な特定のイベントを記録できるように計測の仕組みを設定する。態度指標や、完了率、タスク所要時間といったタスクベースの測定指標では、小規模なベンチマークユーザビリティ調査が最も信頼できる方法であることが多い。目標は、「この日、この方法で測定した時点における体験の水準はこの値である」と根拠を持って説明できる数値を得ることである。
2. 数値とともに測定方法を記録する
文書化されていないベースラインは、ベースラインとはいえない。どのように測定したか、誰を測定対象としたか（ユーザーセグメント、参加者募集の基準、セッションの条件）、いつ測定したか、測定値はいくつだったかを書き記す。リリース後の測定では、有効な比較を行うために、比較可能な方法を用いる必要があるためだ。1月にはモデレーターありのユーザビリティ調査でベンチマークを測定し、8月にはモデレーターなしの調査と比較した場合、その方法の違いによって、望まぬ指摘を招くことになる。
3. 構築前にステークホルダーと共有する
ステークホルダーがベースラインを理解していれば、リリース後の話し合いでは、UXの効果を主張することではなく、一連のストーリーを完結させることに焦点を当てられる。すでに作業が完了し、リソースも使い切った段階で、ステークホルダーに賛同を求める必要がなくなる。ステークホルダーは、自分が把握し、関心を持っている問題領域に対して、どのような解決策が講じられるかを見守ることになる。
結論
実際の効果を証明するには比較が必要である。改善前の測定値がなければ、改善後の測定値は単なる数値にすぎない。その数値だけでは、取り組みによって変化が生じたかどうかも、変化の大きさもわからない。UX成熟度を高め、ステークホルダーの賛同を得ようとするなら、第一歩は、ベースラインのベンチマーキングをチームの習慣にすることである。
記事で述べられている意見・見解は執筆者等のものであり、株式会社イードの公式な立場・方針を示すものではありません。
