A/Bテスト、ユーザビリティエンジニアリング、抜本的革新：どれが最も有益か
デザインを改善する3つのアプローチには各々使い道があるが、そのコストや効果、リスクは大きく異なる。
優れたデザインを実現する3つのアプローチを比較してみよう：
| A/Bテスト | ユーザビリティ | 抜本的革新 | |
|---|---|---|---|
| コスト | 低 | 低～中 | （運に恵まれない限りは）高 |
| 効果 | 1～10％ | 10～100％ | 100～1,000％ |
| リスク | なし | 低 | 高 |
| できる人 | あらゆる人 | あらゆる人 | 天才 |
| 改善しうる頻度 | 週1回 | 月1回 | 10年に1回 |
| GDPへの影響 | 中 | 高 | 中 |
定義：
- A/Bテスト（比較テスト）とは生のトラフィックを2つ（以上）に分けるものである。ユーザーのほとんどが目にするのは標準デザイン（「A」）だが、少数のユーザーは別案（「B」）を目にすることになる。統計的に有意な数を集めたら、コンバージョンレートや直帰率のようなKPI（key performance indicator；重要業績評価指標）が一番高かったデザインが次の標準になる。
- ユーザビリティとはユーザーテストやフィールドスタディ、パラレル＆反復デザイン、忠実度の高くないプロトタイプ、競合調査、その他、多くの調査手法といった一連のユーザー中心のデザイン（UCD）活動を判断基準にするものである。
- デザインの抜本的革新とは、標準的なデザイン変更プロジェクトで採用される山登り法から生まれるのではない、過去のデザインから逸脱したまったく新しいデザインを創造するものである。革新の例には根本的なブレークスルー（蒸気機関）や新しい製品カテゴリー（機関車）、既存カテゴリーにおけるコンセプトの大幅な見直し（iPhone）がある。
コスト
回数を重ねれば高くなってはいくが、A/Bテストは非常に安価である。本当に払う必要があるのは「B」案を作るためのデザイナーへの費用である。しかし、コストのほとんどはテストを実施、分析するためのそのソフトウェアだけですむ。以上が1回の出費である。したがって、どうせA/Bテストをするなら、回数多く実施すべきだろう。
ユーザビリティ手法では、200ドルでちょっとしたユーザビリティ活動を簡略に行う場合から、独立した専門家に38,000ドルかけてウェブサイトを分析してもらう場合まで、コストはさまざまだ。しかしながら、一番質の高いユーザビリティ活動をしたところで、会社規模のプロジェクトの総費用よりコストがかかることはない。大企業のウェブサイトを1年間運営するのにいったいいくらかかるか。スタッフの費用やオーバーヘッドを入れると、軽く百万ドルにはなるだろう。
対照的に、抜本的革新の費用は、質の高い研究ラボや実験のため、すぐに何千万ドル、何億ドルにもなってしまう。また、そうしたところで、生み出されたものの大半は行く当てがない。目もくらむような洞察によって、複雑な調査をせずとも、素晴らしい発明が行われることもあるだろう。加硫ゴムやペニシリンの発明は幸運によってもたらされた抜本的革新の正統的事例である。とはいえ、幸運は準備のできた者に味方するという。アレクサンダー・フレミングはペニシリンを偶然見つけるまで、かなりの時間を細菌学の実験に実りなく費やしていたという。
効果： 1％から1,000％までの改善率
3つのデザインアプローチそれぞれから予想される効果量は優に桁が違っている：
- A/Bテストから確認されるのは、売上等のKPIを数パーセント上げうるわずかな改善であることが多い。運が良ければ、その改善率は10％以上になることもあるが。A/Bテストの利点は、デザイン案同士の差がほとんどないとき、一番良いデザインを正確に決定できる唯一の方法だということである。1％というのはたいした数値ではないように聞こえるかもしれないが、１年間、毎週、その成果を得られれば、最終的には50％以上多くの利益を得ることになる。
- 対照的に、一連のユーザビリティプロセスによって、目標とする指標は倍になることが多い（すなわち、改善率は100％になる）。例えば、ある企業のソフトウェアのプロジェクトで、トレーニングコストが半減するかもしれないし、従業員の生産性が倍になるかもしれないということである。以前のデザインが特にひどかった場合、1,000％以上の成果が見られることもあるが、そうしたことはまれではあるが。特定のデザイン要素の修正のような、もっと狭い範囲でのユーザビリティ活動からは、目標としていた利用率の10％向上という結果がもたらされるだろう。
- 抜本的デザイン革新の可能性は無限だ。十分に優れたものなら以前のものより1,000％良くなることもありうる。まったく新しい製品カテゴリーを定義するときには、販売がゼロの状態からある程度の売上を出すわけだから、無限倍の成果が得られるとも言える。しかしながら、もっと現実的には、新規のものというのは、例によって、ビジネスの機会費用に照らし合わせて評価される必要があるが、先行開発に投資する余裕のある企業ならそれがゼロになることはない。
リスク
A/Bテストにはほとんどリスクがない。統計分析が正確に行われれば、ほぼ100％の確率で一番儲かるデザインを選ぶことができる。2つのデザインの間の相違が小さいときには、統計的有意性を満たすトラフィックが集まるまで、長く待たなければならないこともあるだろう。しかし、代案がかろうじて勝っているとき（とりあえずはそちらのほうが良い場合）、長いテストの間、従来のデザインにこだわることで失うものもほとんどない。
ユーザビリティ手法によるリスクも非常に低い。実際、出荷前に全デザインをユーザビリティ調査の対象にするのは賢明なリスクマネージメントと言える。妄想から生まれたひどいアイデアはユーザーテストで実際の顧客に直面して、否定されることになるからである。
抜本的革新は極めてリスクが高い。そう、次のiPhoneを発明できる可能性もあるが、次のNewton（Appleが昔、開発した絶望的なPDA）を発明してしまう可能性の方が高いだろう。実際のところ、技術革新というのはほとんどすべて失敗するものである。アイデアは良くても、市場に出すには早すぎることもある。例えば、Pets.comはドットコムバブル時代、靴下人形のコマーシャルとその派手な倒産で主に知られているが、先行者「利益」を得ることを控えたらしい他の会社が、ペットフードをネット販売して、今、利益を得ている。
できる人は誰か
A/Bテストは猿でもできる（その猿が統計学で大学院の学位を持っていれば、あるいは統計ソフトを正確に使えればだが）。デザインの原則やユーザーの行動を理解する必要もない。単に今と違うデザインを試せばよいからである。そして、今のデザインの方が良い評価なら、サイトでそれを使い続ければいいし、そうでなければ別の案を試せばよい。
高度なユーザビリティ手法には訓練された専門家が必要とされることが多いが、シンプルなユーザビリティ活動ならデザインチームのメンバーによって実施することが可能である。
幸運がテーマの話を戻すと、天才未満の人材でも運良く、抜本的革新に偶然出くわすこともありうる。しかし、抜本的革新を組織的に狙うなら、世界中で最も優秀な人々を雇う必要がある。自分のプロジェクトのために、例えば、上位1％に入る専門家を現実的に採用できるかどうか、自問自答してみよう。たとえそれが可能だったとしても、その人たちにふさわしいプロジェクトは全体の1％にすぎない。残り99％のプロジェクトはそこまで優秀でないスタッフでなんとかしなければならないのである。彼らだって十分に有能で、日々の平凡な進歩なら可能にすることができるというのに。そして、そうした人達こそがほとんどのプロジェクトを成功させるのに、実際、必要とされる。
改善はどのくらいの頻度で起こりうるか
十分なトラフィックのあるウェブサイトなら、たいていのA/Bテストは1日か2日で終わる。ここでの主な制限要因は、新しいデザインのバリエーションを思いつけるかどうかだ。そして、代替案にも現サイトに対抗できるチャンスを公平に与えるため、デザイナーにも各アイデアを統一感のあるユーザーエクスペリエンスとして実現する時間がある程度は必要である。しかし、基本的には、新たなA/Bテストを毎週してはいけない理由は何もない。
同様にユーザビリティも毎週実施することが可能である。1989年以来、ほとんどの企業が採用しているものより、ずっと早くてコストのかからないユーザビリティ手法を私は伝道してきた（それに比較すると、アジャイルUXデザインは新興勢力と言える）。しかしながら、ユーザビリティの実行頻度を増やそうと、最大限、私が努力しているにもかかわらず、月1回の実施のところが多い。そんなわけで、この記事の始めのほうの図にはその回数を入れている。
現実問題、真に抜本的な変化というのはめったに起きるものではない。それによって原則があることがわかる、という例外も少しはあるだろうが、たいていの企業は抜本的革新が10年に1回しか起きないことを喜んで認めるだろう。（たとえ挑戦したところで、ほとんどの企業では抜本的革新を実現することはない。つまり、彼らの試みはもっと控えめな革新で終わるか、完全に失敗するかのどちらかなのである）。
経済的影響
成功した抜本的革新からは極めて大きな利益が得られるとすると、世界経済に及ぼす影響はこのアプローチが最大だろうと思うかもしれない。しかし、経験的に言って、ほとんどの価値は創造的なブレークスルーからではなく、独創的な仕事を基礎に、その後数十年間にわたって何千回もの微調整や実装を行うことによって生まれるものである。
抜本的革新はすぐに日用品になる。例えば、電気や蒸気機関車、コンピューターは今や誰もが使っている。肝心なのは企業がそうしたものを使って何をするかだ。鉄道会社が穀物のより優れた輸送方法を考案すれば、蒸気機関車を発明した会社より、たくさんお金を稼ぐかもしれない。iPhoneは偉大な進歩だが、Android等の競争相手によって、徐々に市場シェアを食われていっている。
一方、A/Bテストによってもたらされる改善は小さなことが多いので、その貢献全体への期待も控えめなものになると思われる。そうでない場合も、手法的にいって、計画的に繰り返し適用することが可能である。細き流れも集まれば大河となるというわけだ。
各アプローチの価値は3つの要素を掛け合わせることで決定される：
V = G × F × N,
ここでは、
- V = 総合的な価値。経済のGDPに対する貢献度の観点から。
- G = 一つ一つの改善からの成果。この要素では抜本的革新が総合的に勝つ。
- F = それによって改善しうる頻度。ここではA/Bテストが勝ち、ユーザビリティが僅差で次点となる。抜本的革新はこのトラックでは数周の周回遅れとなる。
- N= 革新の創出に参加する企業数。ここでも日常的な手法が勝利する。そうした手法はどんな企業でも、いつでも利用できるからである。給与処理ソフトを担当しているだって？ ユーザビリティを使えば、そのソフトはずっと良くなるだろう。だが、その製品ラインでの抜本的革新が起きるまでにはひょっとすると50年待つことになるだろう。（クラウドベースで処理すればいくらかは良いかもしれないが、近頃ではその程度を「抜本的」とはまず見なさないだろう）。
抜本的革新は実現すればかなりの価値がある。しがし、実現することがまれなので、結果的に経済への影響は中程度に留まる。A/Bテストも経済全体に対する影響は中程度しかないかもしれない。なぜならば、そこから得られる成果の多くはライバル同士で移り変わる市場シェアによって構成されているからである。一方、ユーザビリティが提供するのは、確固とした広範囲にわたる製品改善で、その生産性の伸びは蓄積され、結果的に高い確率でGDPを上昇させうる。
Tom LandauerのThe Trouble with Computers（邦訳『そのコンピュータシステムが使えない理由』）では、すべての企業が妥当なユーザビリティ手法を利用すれば、GDP成長率は1％上昇するだろうと概算している。この数字はたいしたことないように聞こえるかもしれないが、それによって、今後10年間で、アメリカ合衆国単独のGDPは2兆ドル以上上昇することになる。（EUは1.5兆ユーロ上昇する）。
どれを選ぶべきか
ユーザビリティが平均して一番お金になることから、お勧めの戦略と言える。（私の過去記事を読んできているなら、驚きはないだろう）。
しかし、実際には、1つだけに戦略を絞る必要はない。3つのアプローチはお互いをうまく補完しているからである。
予算（と運）があれば、是非、抜本的革新に挑戦してほしい。しかし、あなたの「革新」が実際に、いくらか役に立つかどうかを、市場に失敗作を売り出すのに大金を投じる前にユーザビリティを使ってチェックしよう。そして、製品を出したら、継続的な品質改善を確実にするため、ユーザビリティとA/Bテストの両方を使おう。そうすれば、競争相手の先を行くことができる。長い目で見れば、たくさんの品質改善による蓄積効果は、めったに起こらないブレークスルーを上回る価値があるのである。
