UXの改善を数値で示す：ケーススタディ
金属・木材加工機械のB2Bサイトの情報アーキテクチャを、調査に基づいて全面的に見直したところ、見つけやすさが85％向上した。
定量的なUX指標を使用すると、エクスペリエンスの質を経時的に追跡して、それをどのように改善していけばいいかを確認することが可能になる。UX指標は、UXの専門家が自分たちの作業の影響と質を測定し、そうした影響を第三者に伝えるのに役立つ。
UXベンチマーキングのプロセスでは、エクスペリエンスの重要な側面を表す指標を1つ以上選択し、それらの指標を追跡して、デザインの介入がそうした側面にどのような影響を与えるかを確認することになる。
以下のケーススタディでは、あるチームがUX指標を使って、自分たちの作業の影響を評価し、それをクライアントに示す方法について説明している。
今回、Marketadeチームの4人のメンバーにインタビューをして、話を聞いた：
- John Nicholson（社長）
- Sonya Badigian（UXリサーチャー）
- Nora Fiore（UXライター）
- Emily Williams（UXリサーチャー）
Baileigh IndustrialのためのMarketadeのケーススタディ
Marketadeは、規模は小さいが、老舗の完全リモート型ユーザーリサーチの会社で、ユーザーの知見をより良いエクスペリエンスに変換することを得意としている。この会社のクライアントには、GEICO、マクドナルド、ハーマンミラー、国連、スタンフォード大学などが連なっている。
この会社のクライアントの1つ、Baileigh Industrialは、ウィスコンシン州を本拠地とする産業用金属・木工機械のトップメーカーで、同社は、代理店経由の販売と、Baileigh.comを通した顧客への直接販売を行っている。製品の性質上、Baileigh Industrialサイトでの1件ごとの売上は非常に大きくなることもあり、15,000ドルを超えることも珍しくない。
営業担当者にインタビューすることで重要な問題を抽出する
Marketadeは、営業担当者に定性インタビューを行うことから、Baileighとの共同作業を始めた。営業部門やカスタマーサービス部門というのは、エクスペリエンスについての潜在的な問題探しを始めるのに最適な場所である。顧客と日常的にやり取りをしている担当者は、顧客にとっての最大の問題点や懸念をわかっている可能性が高いからだ。
Marketadeでは、調査プロセスを開始する前に、ステークホルダーと話をする時間をできるだけ多く確保するようにしている。しっかりと彼らを取り巻くコンテキストを理解したいと考えているからだ。また、今回のケースでは、機械そのものや専門用語の学習にも時間を費やした。
Emily Williams（UXリサーチャー）
営業担当者にとっての重要な問題点とは、よく顧客がWebサイトで必要な情報が見つけられないという理由で電話してくることだった。単純な問い合わせの電話が大量にくるため、専門知識をもつ営業担当が複雑な質問に答える時間が取れないのである。Webサイトには、低価格の製品に関する情報は豊富に掲載されていたが、高額な製品の中には、専門性が高いために、営業担当者を通じてしか購入できないものもあった。たとえば、営業担当者が716ドルのハンドベンダーに関する質問に答えるのに20分もかかってしまい、130,000ドルのレーザーテーブルの購入につながるかもしれない、専門知識がないと考えられないユニークなソリューションを見つけ出すことに労力を割けなくなってしまうということだ。
Marketadeのチームは、上級管理職と話をしたときにも同じ不満を耳にした。そのため、リサーチャーたちは、BaileighのWebサイト上のセルフサービス機能を改善すれば、営業担当者が解放され、彼らの専門知識を必要としている人々に集中できるようになり、高額な製品の営業に大半の時間を使えるのではないかということに気づいたのだ。
定性調査による問題の理解
Marketadeは、次に定性的なユーザビリティテストに進み、なぜこれほど多くの顧客が営業担当者に連絡を取っているのかを理解しようとした。そして、顧客のセルフサービスを妨げる重大な障害を発見した。それは、顧客の多くが目的の製品や製品カテゴリーさえ見つけるのに苦労しているということだった。Baileighの顧客はサイトのナビゲーションを利用しては間違った経路に進み、繰り返し時間を無駄にしていたのである。
そこで、Marketadeは、ナビゲーションのパフォーマンスのベースライン測定をし、ナビゲーション構造のどの部分を改善する必要があるかを判断するために、Optimal WorkshopのTreejackによるツリーテストを実施した。チームは、BaileighのEメールニュースレターとソーシャルメディアページの広告を利用し、このテストのために64人の参加者をリクルートした。
テストは8つのタスクで構成されており、各タスクはそれぞれ異なるトップセラーの製品カテゴリーを対象としていた。「1/4インチ厚の板金を垂直面でV字に正確に曲げる必要があるとします。どこを見ればいいでしょうか」がその一例である。
調査の後、Treejackによって、Baileighのタスクを見つけやすさに関するさまざまな指標で採点した。その結果、見つけやすさの総合スコアの平均は10点満点中4点だった。この結果に基づいて、Marketadeチームは情報アーキテクチャを大幅に改善することで、うまくいけば不必要な営業電話対応を減らせると判断した。
より良い情報アーキテクチャの構築
各タスクの結果について、Marketadeのリサーチャーは、間違った経路で最も多かったものを調べた。そして、すべてのタスクにまたがる課題をいくつか見つけた：
- トップレベルの製品カテゴリーの選択肢が多すぎるために、多くのユーザーが最初から間違った経路に進んでしまう。
- ナビゲーションの階層が重複していて、ユーザーにとって直感的でない。
- サブカテゴリーの名前が誤解を招く、または似ているため、多くのユーザーが間違ったターゲットを選んでしまう。
そこで、Marketadeのチームは、カードソーティングを行い、Baileighの顧客がこの会社の製品についてどのように考え、分類するかを理解しようとした。
その結果、新しい情報アーキテクチャは以下のようなものになった：
- ユーザーが最初に選択しやすくなるようにカテゴリーごとの範囲を広げ、1回のクリックミスでターゲットから離れてしまわないようにした。
- 混乱を防ぐために、問題のあるサブカテゴリー名を再検討し、言い換えた。
- 可能な限り、ツールの機能を示すコンテキストを盛り込んだ。
グローバルナビゲーションごとの範囲を狭くすることで、MarketadeはBaileighの顧客が最初に検討しなければならない選択肢の数を減らした。その結果、顧客は、カテゴリーを選んで、さらに製品カテゴリーページを閲覧できるようになった。また、製品カテゴリーページには、そのカテゴリーで提供されている製品に関する詳細情報が記載され、この分野に詳しくない顧客を支援することで、営業チームが関与する必要が一切なくなった。
結果の定量化
チームは、2回目のツリーテストを新しい情報アーキテクチャ（IA）を使って実施した。ベンチマークを比較するために、初回のタスクを再度利用することにし（新しいナビゲーションラベルを考慮して、文言は微調整した）、新たな参加者のグループをリクルートした。
オリジナルのIAを使用した最初のツリーテストでは、8つのタスクの総合スコアは、10点満点中4.0点だった。改訂したIAを対象にした2回目のツリーテストでは、同じ8つのタスク全体の総合スコアは10点満点中7.4点となり、製品の見つけやすさは85％向上した。
オリジナルのIAでは、8つのタスクのいずれにおいても、10点満点中5点を上回るスコアにはならなかった。しかし、修正したIAでは、8つのタスクのうちの6つで、7点以上のスコアを獲得した。
クライアントチームは大喜びした。そして、数ヶ月のうちに、Baileighの収益とリード（見込み客）は大幅に増加した。
新しいサイトを公開して以来、この会社のWebサイトからの収益とリードは大幅に増加している。こうした増加からアーキテクチャの貢献度だけを抜き出すことは不可能だ。しかし、Google Analyticsによるフォローアップ分析から、同社IAに対して我々が行った人間中心型の刷新によって、大きなROIが得られたことが示唆されている。
John Nicholson（Marketade社長）
UX主導のデザイン変更によるUX指標の平均改善率は、最近、我々が実施した全調査で75％だった。もちろん、この平均値をきっちり達成することはまれだ。そして、プロジェクトによって、この値よりも良くなるものもあれば、悪くなるものもあるだろう。では、なぜこのチームは、平均よりも大きな改善率（75％ではなく85％）を達成できたのだろうか。さまざまな要因が考えられるが、はっきりとしたことは我々にもわからない。だが、1つ考えられるのは、B2Bの分野ではよくあることだが、このケーススタディのデザイン上の問題が専門的な領域における複雑なものだったということだ。逆説的にいえば、デザイン上の問題が難しければ難しいほど、UXを改善するチャンスは広がる。なぜならば、検討できるデザインの要素が非常にたくさんあるからである。
さらに詳しくは
Marketadeのケーススタディは、定性調査（課題の発見とソリューションの開発）と定量調査（パフォーマンスの評価と追跡）の理想的な統合といえる。今回のケーススタディは、297ページのレポート『UX Metrics and ROI』（UX指標とROI）で詳述した44件の実際のケーススタディの中から1件を抜粋したものだ。レポートに掲載したケーススタディには、さまざまな種類の製品やUXの改善、定量的な指標が含まれている。さらに、このレポートには、Marketadeのインタビューの詳細だけでなく、他の8つのUXチームへのインタビューも記載されている。
独自の定量的ベンチマーキング計画の策定については、我々の1日セミナー「Measuring UX and ROI」（UXの測定とROI）をチェックしてほしい。
また、見つけやすさについての一般的な問題と、そうした問題を特定して解決する方法について、さらに詳しくは、我々の1日セミナー「Information Architecture」（情報アーキテクチャ）をチェックしてみてほしい。
