製品のUXをベンチマークするための7つのステップ
まず、適切な指標と調査方法を決めて、自社のUXのベンチマークを測定しよう。それから、確立した同じ方法で調査を実施して、製品の複数のリリースにわたりこれらの指標を追跡しよう。
UXベンチマーキングとは、製品やサービスのユーザーエクスペリエンスを評価するプロセスで、意味のある基準に対する相対的なパフォーマンスを、指標を用いて測定するというものだ。これらの指標は、通常、定量的なユーザビリティテストやアナリティクス、アンケートを使って収集される。
以下のことを実行したいと考えているのなら、ベンチマーキングを検討するとよい：
- 製品やサービスの全体的な進展の追跡。
- 現時点のUXと旧バージョンや競合他社、業界のベンチマーク、ステークホルダーが決めた目標との比較。
- UXの取り組みや作業の価値の証明。
関連記事では、ベンチマーキングを行うタイミングについても説明している。大まかにいえば、ベンチマーキングとは、製品全体のパフォーマンスを評価する方法である（そのため、総括的評価の一種であるといえる）。したがって、ベンチマーク調査は、1回のデザインサイクルの終了時や次のサイクルの開始前に行われることが多い。
ベンチマーキングとは、多くの場合はプログラムであって、1回限りの活動ではない。つまり、多くの組織では、デザインリリースを続けながら、繰り返し指標を収集する。ベンチマーキングをすることで、チームの責任が明確になり、進捗状況を目に見える形で記録することができる。
プロセスの概要
この記事では、ベンチマーキングプログラムを作成するための、7つのステップからなる大まかなプロセスを紹介する。このプログラムを最初に構築する際には、何をどのように測定するかを見極めるために特別な作業をすることになる。しかし、そこで調査の構造が決まれば、プロセスはかなり反復的なものになり、必要な作業は大幅に減る。
ステップ1：何を測定するのか選択しよう
評価したいユーザーエクスペリエンスの品質を最もよく反映する重要な指標に注目しよう。UXと組織の目標につながる指標を探すことだ。
とはいえ、収集する指標を決定する前に、調査のコンテキストを定義する必要がある。言いかえると、以下の点を考慮すればよい、ということだ：
- どんな製品に焦点を当てるのか（Webサイト、アプリなど）
- どのユーザーグループをターゲットにするのか。
- どんなタスクや機能を測定したいのか。
タスク
ユーザーがその製品で行う最も重要なタスクを見極めよう。組織でまだ最重要なタスクの設定をしていない場合は、製品の（ほとんどの）タスクを文書化することから始めればよい。次に、そのタスクの一覧に優先順位づけし、ユーザーにとって最も重要なタスクを5～10個選び出そう。
以下の一覧表は、考えられるさまざまな製品とそのタスクシナリオをまとめたものだ。ここでは製品ごとに1つのタスクしか示していないが、実際のプロセスでは、おそらく複数のタスクに焦点を当てることになるだろう。
| 製品 | 考えられるタスク |
|---|---|
| スマートスピーカーのアプリ | 新しいスマートスピーカーのセットアップ |
| ECサイト | ワンクリックでの購入 |
| モバイルバンキングのWebサイト | 連絡先情報の更新 |
| B2B代理店のWebサイト | 新規顧客用フォームの送信 |
| モバイルパズルゲーム | パズルを1つ解く |
指標
一連のタスクを絞り込んだところで、次はそれをどのように測定したらいいだろうか。GoogleのHEARTフレームワークは、収集して追跡したいと思うさまざまな種類の指標を簡潔に示してくれるものだ。以下は、このHEARTフレームワークについての表である：
| 説明 | 指標の例 | |
|---|---|---|
| Happiness（幸福） | ユーザーの態度や認識の尺度 | 満足度評価 使いやすさの評価 ネットプロモータースコア |
| Engagement（エンゲージメント） | ユーザーの関与のレベル | タスクの平均時間 機能の利用数 コンバージョン率 |
| Adoption（採用） | 製品、サービス、機能の初めての導入 | 新規のアカウントまたは訪問者数 売上 コンバージョン率 |
| Retention（継続） | 既存のユーザーがどのように製品に戻って、アクティブな状態を維持しているのか | リピーター数 解約率 更新率 |
| Task effectiveness and efficiency（タスクの有効さと効率） | 効率、有効性、エラー | エラー数 成功率 タスク時間 |
なお、エンゲージメントの指標としてのタスク時間の数字は「大きい」ほうがよいが（たとえば、新聞のサイトで記事を読むのに費やす時間が長いなど）、効率性の指標としてのタスク時間の数字は「小さい」ほうがよい（たとえば、ECサイトでの決済が速いなど）ということに注意しよう。言いかえれば、同じ変化（たとえば、時間が長くなること）も、測定する用途の種類によって良いものにも悪いものにもなりうる、ということだ。
うまくいけば、何年にもわたって、こうした指標を繰り返し収集することになるので、長期間、重要な意味をもちそうな指標を精選しよう。目標としては、自社のUXのさまざまな側面（幸福やエンゲージメントなど）に焦点を当てる2～4個の指標を選ぶとよい。
以下に、前述の例で挙げたタスクの追跡が可能と思われる指標を示す。
| 製品 | タスクまたは機能 | 指標 |
|---|---|---|
| スマートスピーカーのアプリ | 新しいスマートスピーカーのセットアップ | タスク時間 成功率 Single Ease Question（（SEQ）：タスクの難易度を聞く質問） |
| ECサイト | ワンクリックでの購入 | ワンクリックによる週間売上 ワンクリック機能の採用率 |
| モバイルバンキングのWebサイト | 連絡先情報の更新 | 完了率 ページ上のエラー数 同一タスクでのサポートコール数 |
| B2B代理店のWebサイト | 新規顧客用フォームの送信 | フォームの送信数 放棄率 |
| モバイルパズルゲーム | パズルを1つ解く | 成功率 リピーター数 |
ユーザーエクスペリエンスのベンチマーキングは、指標を追跡するだけではなく、そのUXへの取り組みの価値を証明することでもある。この作業は、組織の主要業績評価指標（KPI）に沿った指標を選択すれば、非常に楽になる。たとえば、カスタマーサポートのコストがKPIである銀行の場合、問い合わせフォームのデザイン変更の前後のサポートコール数を追跡することで、このデザイン変更がサポートコストの削減に寄与したことを示すことができる。
ステップ2：どうやって測定するのか決定しよう
指標を収集する手法を決定する際には、その調査方法に要する時間や、その方法にかかるコスト、担当するリサーチャーのスキル、利用可能な調査ツールについて考慮しなければならない。適切なスキルを持ち合わせていないのなら、何もしないほうがよい。間違った数字は数字が何もないよりももっとたちが悪いからだ。また、費用がかかりすぎて長期的には続けられない測定計画を策定しないようにしよう（ベンチマーキング自体が、測定を何度も繰り返すという考え方だからだ）。
また、新たな調査を計画しはじめる前に、測定したいエクスペリエンスに関してどんなデータがすでに組織にあるのかを確認しよう。エクスペリエンスを全体的に理解し、UXの指標を組織のより大きな目標に結びつけるというのは非常に価値のあることだ。関係者にデータを依頼する際には、そのデータが必要な理由と使用方法を必ず説明しよう。
UXベンチマーキングに適した調査方法には、定量的なユーザビリティテスト、アナリティクス、アンケートデータの3つがある。
- 定量的なユーザビリティテスト。参加者は、そのシステムで最も重要なタスクを実行する。そして、リサーチャーは、それらのタスクについてのユーザーのパフォーマンスを測定する指標（タスク時間、成功率、満足度など）を収集する。
- アナリティクス。システムの利用状況のデータ（放棄率や機能の採用率など）が自動的に収集される。
- アンケート。ユーザーが自分の行動や背景、意見を説明するために質問に回答する。タスクの容易さ、満足度評価、ネットプロモータースコアは、すべてアンケートで収集される指標である。
ユーザーエクスペリエンスの全体像を把握するには、（自己申告による指標を取得する）アンケートと、行動観察的な手法（定量的ユーザビリティテストまたはアナリティクス）を組み合わせるのが理想だ。
以下に、前述のシナリオを前提とした測定方法を示す。
| 製品 | タスクまたは機能 | 指標 | 方法 |
|---|---|---|---|
| スマートスピーカーのアプリ | 新しいスマートスピーカーのセットアップ | タスク時間 成功率 Single Ease Question（（SEQ）：タスクの難易度を聞く質問） | アンケートつきの定量的なユーザビリティテスト |
| ECサイト | ワンクリック購入での購入 | 売上 採用率 ネットプロモータースコア | アナリティクス アンケート |
| モバイルバンキングのWebサイト | 連絡先情報の更新 | 完了率 ページ上のエラー数 同一タスクでのサポートコール数 | アナリティクス 社内のカスタマーサポートのデータ |
| B2B代理店のWebサイト | 新規顧客用フォームの送信 | フォームの送信数 放棄率 | アナリティクス |
| モバイルパズルゲーム | パズルを1つ解く | 平均所要時間 継続率 | アナリティクス |
ステップ3：初回の測定を行って、基準値を設定しよう
収集する指標とその収集方法を決定したところで、次に基準値（ベースライン）となる指標を収集しよう。（しかし、早まってはならない。まずはパイロット調査を実施して、データの最初のサンプルを収集し、予備的な分析を行おう。そこで、指標の測定方法が適切で、そこからのデータが自分たちの疑問に答えることができるかを確認する必要がある。ほとんどの場合、このパイロット調査によって、測定方法を修正することになるだろう。つまり、最初のデータセットは破棄されることになる。しかし、その後の大規模なデータ収集で適切な結果を得るためには、この作業は実行する価値があるのだ）
最初の測定値のセットを収集する際には、データに影響を与える恐れのある外部要因を考慮し、極力それを回避できるようにしよう。たとえば、アナリティクスを使用してベンチマーキング用に売上指標を収集するECサイトの場合は、指標を混乱させ、デザインの変更を測定結果に関連づけにくくする広範なマーケティングキャンペーンや大規模な経済的影響などの要因に注意しよう。
サイトは1回測定するだけではおそらく意味がない。だが、ベンチマーキングプログラムを開始したばかりで、比較対象になる過去のデータがない場合でも、競合他社や業界のベンチマーク、ステークホルダーが決めた目標との比較は可能だ。以下に、それぞれの例を示す。
- 競合他社。たとえば、製品がスマートスピーカーのアプリの場合、自社製品のセットアップのエクスペリエンスを競合製品のセットアップのそれと比較して、ベンチマークできるだろう。（これを行うには、自社製品と競合他社の製品に関するデータを収集しなければならないので、そのことを前のステップで考慮しておく必要がある。とはいえ、競合他社のアナリティクスは入手できないので、アナリティクスを手法として用いることは不可能である）。
- 業界のベンチマーク。自分の業界に関する外部統計を利用できる場合もある。たとえば、ホテルのWebサイトの場合は、自サイトのNPSをこの業界の平均ネットプロモータースコア（NPS）である13％と比較することができる。
- ステークホルダーが決めた目標。たとえば、新規顧客用フォームの送信に要する平均時間を3分未満にしたいとステークホルダーが言っているのなら、現在のパフォーマンスをそのしきい値と比較するとよい。
こうした比較の結果をどのように解釈するかを検討するときは、ステップ6で説明するアドバイスを考慮に入れてほしい。
ステップ4：製品のデザインを変更しよう
デザイン変更のプロセスについてはこの記事の範囲を超えているが、非常に重要な部分ではある。デザイン変更をしない限り、製品の複数のバージョンを比較することはできないからだ。
製品のデザイン変更をする際には、インタラクションデザインに関する10のユーザビリティヒューリスティックスを忘れてはならない。
ステップ5：さらに測定を行おう
変更後のデザインがリリースされたら、再度デザインについて測定しよう。デザインリリース後、どのくらいの期間をおいて、再測定をするかについての厳密なルールはない。アナリティクスを追跡している場合は、継続的に測定することで効果が上がる。ただし、定量的なユーザビリティテストやアンケートのようなタスクベースのデータ収集の場合は、データを収集する適切なタイミングを判断する必要がある。ユーザーは変化を嫌うことが多いので、測定の前に、変更後のデザインに適応する時間を彼らに少し与えるとよい。その期間はユーザーが製品にアクセスする頻度によって異なる。毎日アクセスする製品の場合は、おそらく2～3週間で十分だ。しかし、ユーザーが週に1～2回しかアクセスしない製品の場合は、4～5週間おいてから測定するほうがいいだろう。
新しいデザインについて測定する適切なタイミングを検討する際には、調査結果に影響を与える可能性のある外部要因をもう一度文書化するとよい。
ステップ6：調査結果を解釈しよう
少なくとも2つのデータポイントを収集したところで、調査結果の解釈をしよう。指標の数値を額面通りに受け取ってはならない。調査に使用したサンプルはユーザーの母集団全体よりもはるかに小さいものだと考えられるからだ。そのため、統計的手法を用いて、データに見られる差が実際にあるのか、ランダムノイズによるものなのかを確認する必要がある。我々のトレーニングコース「How to Interpret UX Numbers: Statistics for UX」（UXの数値の解釈の仕方：UXのための統計）では、このテーマについて詳しく説明している。
一般的に、指標の解釈は、その製品と収集することにした指標に大きく依存する。たとえば、経費報告アプリのタスク時間は、モバイルゲームのタスク時間とは別物といえる。以下で、前述のシナリオの1つとその調査結果の解釈を概説する。
シナリオ：スマートスピーカーのセットアップ
タスクにかかる時間、成功率、SEQ（Single Ease Question）を収集するために、アンケートと組み合わせた定量的ユーザビリティテストを実施したとする。以下の表は、初期デザインと変更後のデザインについての架空の指標をまとめたものだ。
| 初期デザイン | 変更後のデザイン | |
|---|---|---|
| タスクの平均時間（分） | 6.28 | 6.32 |
| 平均成功率 | 70％ | 95％ |
| 平均SEQ （1：非常に難しい～7：非常にやさしい） | 5.4 | 6.2 |
要約すると、タスクにかかる時間はほぼ同じだが、成功率が上昇し、平均SEQも向上している。デザイン変更前と変更後のこの指標の差は統計的に有意だったとしよう。つまり、ユーザーは、変更後のデザインでは初期のデザインよりもタスクを成功させられるようになり、セットアップのプロセスにも満足していた。すなわち、このデザイン変更は成功したということだ！
ステップ7：ROIを計算しよう（オプション）
ベンチマーキングをすれば、製品がうまくいっているかどうかを追跡し、自分たちの仕事の価値を証明することができるようになる。UXの価値を証明する方法に、UX指標を組織の目標に結びつけ、投資収益率（ROI）を計算するというのがある。この計算では、UX指標を利益、コスト、従業員の生産性、顧客満足度などの主要業績評価指標（KPI）に関連づけることをする。
ROIの計算は非常に有益だが、UXの専門家によって広く実践されているというわけではない（おそらく、UX指標のKPIへの関連づけだけで十分な説得力が得られることが多いからだろう）。ともあれ、UXの影響力を証明するのに苦労している場合は、ROIを計算することによって、説得力をもたせることができるだろう。
ベンチマーキング結果の提示
分析を終えて、その結果をステークホルダーと共有する際には、データとともに、ストーリーを伝えることを目指そう。経営幹部の中に数字を好む人がいるからといって、プレゼンテーションに今回の調査結果と一致する過去の調査からの定性的な発見や引用を取り入れることができないというわけではない。このやり方はそうしたデータ志向の相手からユーザーの共感を得る素晴らしい方法になりうる。
また、ステークホルダーに結果を提示する際には、調査の前提や考えられる交絡変数をすべて文書化しておこう（訳注：交絡変数とは、結果変数と、それを説明する独立変数の両方に相関する、隠れた変数）。直接コメントする必要はないかもしれないが、こうしたことをプレゼンテーションの付録に記載しておくことで、製品環境を全体的に理解しているということを示せるし、もし測定値の妥当性について疑問が生じた場合は、すぐに参照することもできる。
結論
ベンチマーキングは、UXへの取り組みを組織の全体的な目標や成果と整合させて関連づけるための素晴らしいツールだ。ベンチマーキング調査を実施するには、まず製品の重要なタスクや機能を絞り込み、それらをどのように測定するかを決める。次に、自分たちの時間や予算、スキルを考慮して、そうした指標を収集できる調査方法を選択しよう。1回目の測定値を収集し、製品のデザイン変更をしたら、同じ方法で再度そうした指標を収集する。そして、最後に、収集したデータポイントを比較し、製品や組織についての知識を用いてすべてのつじつまを合わせて、調査結果を解釈すればよい。
その後は、来年に（または、次のリリースの後に）またこの同じプロセスを繰り返そう！ うまくいけば、数値が改善することだろう。また、もしそうでなくても、この後のデザイン変更では、どこに力を注ぐべきかがわかるはずだ。
参考文献
K. Rodden, H. Hutchinson, X. Fu. “Measuring the User Experience on a Large Scale: User-Centered Metrics for Web Applications” (2010). Source: https://research.google/pubs/pub36299/
