UXのベンチマーク測定：指標の追跡
指標を利用して、意味のある標準に対する相対的なパフォーマンスを測定することによって、製品やサービスのユーザーエクスペリエンスを定量的に評価しよう。
デザイン変更は、通常、ユーザーエクスペリエンスに変化をもたらすことを目的としている。我々は、エクスペリエンスをより良い（より速かったり、より楽だったり、より楽しい）ものにしたいと考えている。しかし、何に比べて良いということなのだろうか。UXのベンチマークの取り組みを構築することは、正しい方向に進み、改善のための明確な基準点を設定するための優れた方法である。
UXのベンチマークとは、指標を利用して、意味のある標準に対する相対的なパフォーマンスを測定することによって、製品やサービスのユーザーエクスペリエンスを評価することである。
ベンチマーク測定の仕組み
ベンチマーク測定を取り組みと呼んでいるのは、一度ベンチマークの測定を開始すると、経時的に何度も何度も繰り返して、デザイン変更から次のデザイン変更までの進捗状況を追跡することが理想的には可能だからだ。つまり、ベンチマークとは継続的なプロセスといえる。
基本的に、ベンチマークでは、エクスペリエンスを記述する定量的なデータを収集することになる。たとえば、収集可能なUX指標には以下のようなものがある：
- 購入までの平均時間
- 「送信」ボタンのクリック数
- 申込み完了の成功率
- アカウント作成時の使いやすさの評価の平均値
- アプリの8週間後の継続率（8週間後もアプリを利用しつづけているユーザーの割合）
これらのUX指標は、可能性としてはどんな定量的な方法論を利用しても収集できるが、ベンチマークに最も効果的なことが多いのは、アナリティクス、アンケート、定量的なユーザビリティテストという3つの手法だ。また、カスタマーサービスのデータ（たとえば、特定のタスクに関するサポートメールの数など）を利用することも可能である。
これらの数値データを入手したら、次はそれを何かと比較する必要がある。数値だけでは、それが良いか悪いかがわからず、意味がないからだ。ベンチマークを測定すれば、そうしたUX指標を4種類の基準点と比較することができる。
| 比較対象 | 例 |
|---|---|
| 製品やサービスの旧バージョン | 2019年の購入までの平均時間は58秒だった。最近実施したデザイン変更後、購入までの平均時間は43秒になった。 |
| 競合他社 | 申込み完了の成功率は86％だったが、競合他社は62％だった。 |
| 業界標準 | 当ホテルのWebサイトでアカウントを作成する際の使いやすさの評価の平均値は7点満点中5.3点だった。ホテルWebサイトの上位6位までを対象とした調査でのそのタスクの使いやすさ評価の平均値は7点満点中6.5点だった。 |
| ステークホルダーが決めた目標 | 8週間後の継続率は8％だったが、少なくとも15％を目指している。 |
こうした基準点のうちのどれかとは比較ができるはずだ。ベンチマーク指標（ベースラインと呼ぶことが多い）を初めて取得する際には、比較対象になる旧バージョンのデータがない。したがって、その時点では競合企業や業界標準と比較することを勧める。
非常にニッチだったり、特定の人向けの業界で仕事をしている場合には、必要とする正確な業界標準を見つけるのは難しいかもしれない。しかし、学術機関が有用なデータを公開することもある。また、MeasuringU.comのJeff Sauroのチームは、主要なビジネス部門（たとえば、銀行、航空会社、ホテルなど）の業界標準の調査を実施している。
ベンチマークを測定するタイミング
UX調査の中でも、デザインの何がうまくいっているのかいっていないのかを知り、そうした問題を修正する方法を見つけ出すための調査には馴染みがあると思う。この種の調査は形成的評価と呼ばれ、デザインをどのように「形成する」、つまり、かたちづくるのかを決めるのに役立つ。この目的には、定性インタビューとユーザビリティテストがよく利用される。
ベンチマークは、形成的ではなく、総括的な評価だ。言い換えると、（一応）完成しているデザインの総合的なパフォーマンスを評価するのに役立つ（そのデザインの性能の「総括」）。デザインというのは決して完成することがなく、ずっと改善しつづけていくものではある。しかし、ベンチマーク調査は、製品やサービスの特定のバージョンのエクスペリエンスをとらえた、そのときの一種のスナップショットと考えることができる。ベンチマークは、1つのデザインサイクルの終了時と次のサイクルの開始前に測定することが可能である。
ベンチマーク調査をどのくらいの頻度で実施するかはチーム次第だ。また、その実施頻度は利用している方法論によっても異なる。定量的なユーザビリティテストの場合は、費用も時間も非常にかかるため、ベンチマーク調査をやる回数は1年に1回になるかもしれない。それに対して、アナリティクスは、はるかに短時間でベンチマーク指標を収集できるので、製品の大きなデザイン変更後に毎回ベンチマークを測定することもできるだろう。
ベンチマークを測定する理由
ベンチマークを測定することで、効果や改善点を評価することができる。プロセスやデザインの選択の検討にも役立つ。ベンチマークが製品やサービスのチームに対して提供できる価値はたくさんあるのである。
しかし、ベンチマークの真の力は、たとえば、ステークホルダーやクライアントなどのチーム外にその結果を示すときに現れる。UXの作業の効果を具体的かつ明確な方法で示すことができるからだ。さらに、そうしたUXの指標を利用して投資収益率（ROI）を計算すること、つまり、払った金額の見返りとしてどれだけ多くの利益を得ているかを利害関係者やクライアントに正確に示すことによって、UXの作業の効果をさらにもう一歩進めて証明することもできる。そうすることで、将来、より多くの資金や大型のプロジェクトを主張しても困ることにはならないだろう。
独自のUXベンチマーク計画を作成するためのアドバイスとその実践的な取り組み方については、我々の1日コース、「Measuring UX and ROI」にて。
定量データの分析と解釈については、我々の1日コース、「How to Interpret UX Numbers: Statistics for UX」にて。
