キャンベルの法則：
指標への執着がもたらす負の側面
組織が他のすべてを犠牲にして指標の最適化を行うと、自らを指標不正の危険にさらすことになる。そして、最終的には、Facebookのスキャンダルが示すように、ユーザーを裏切り、ビジネス目標を達成できなくなる恐れがある。
ビジネスで最も誤って引用される言葉の1つに、「測定できないものは管理できない」というものがある。この言葉（およびその言い換え）は、何かを改善するためには、それをとらえる正確な指標が1つ必要であり、改善のための努力が効果的かどうかを知るためにその指標を追跡する必要がある、という意味であることが多い。
興味深いのは、この「引用」が実際には元の言葉とはまったく逆の内容になっていることだ：
測定できないものを管理できないと考えるのは間違いである。これは大きな損害をもたらす誤った通念といえる。
W. Edwards Deming (The New Economics)
元の言葉と一般に言われている言葉の違いは、ビジネスのパフォーマンスを単一の指標で評価することがなぜ危険なのかを浮き彫りにしている。そうした1つの指標は、測定されるはずの対象とは関係のないところで操作されてしまうことがあるのだ。これがキャンベルの法則で説明されている現象である。
キャンベルの法則とは、社会的な意思決定において重要な指標ほど操作されやすい、というものである。
言い換えると、1つの指標だけで成否を判断しようとすると、人間はその指標を改善するために自分の行動を最適化しようとして、ときにはばかばかしい、あるいは危険な結果を招くことがある、ということだ。ユーザーは、指標を利用して関心のある根本的な問題に対処するのではなく、指標そのものを操るようになってしまうのである。
その典型的な例が、「テストに合わせた指導」だ。これは何らかの意義のある統一テストを受けたことのある人にとっては当たり前のことではある。しかし、たとえば、SATやGREのような統一テストを批判する人の中には、そうしたテストは知識や可能性を測定するのではなく、個人がテストのためにどれだけうまく勉強できたかを測定するものだと指摘する人もいる。
似たような法則である、グッドハートの法則とは、「測定が目標になると、それは適切な測定ではなくなる」というものである（Marilyn Strathernによる言い換え）。これらの法則はどちらも、複雑な行動の微妙な差を総合的に理解しようとするかわりに単一の指標が利用されることにいら立ちを感じていた社会科学者（キャンベルは社会心理学者、グッドハートは経済学者）の言葉から来ている。
日常生活におけるキャンベルの法則
キャンベルの法則が逆向きの動機になっている例は、我々の日常生活の中でも数多く見ることができる。
医療機関での電話の待ち時間と保留時間
医療機関の外来で働く看護師が話してくれた例について考えてみよう。医療機関の管理部門は、しばしば、ばかばかしいほど、あるいは有害になるほど、指標にこだわりすぎているという例である。
この医療機関では、患者が電話をかけた際にどれだけ保留の状態で待たされるのかをパフォーマンス評価指標にしていた。従業員はこの指標を改善し、患者の待ち時間を短縮するように常に求められていた（これが合理的な目標であることは間違いない）。
保留の時間が長くなる原因として多かったのは、受付担当者がその患者を担当する医師や看護師を見つけ出して、電話を転送するのに時間がかかることだった。そこで、あるマネージャーが、受付担当は患者の電話を転送するまでの間、保留にするのではなく、電話をミュートにしたまま、廊下を歩いていって看護師や医師を探し出せば、（患者が待たされる時間全体は、保留にした場合よりも長くなることがよくあったが）保留時間自体は厳密に言えばゼロになると考えついた。
「指標」が劇的に改善されたので、このマネージャーは多額のボーナスを獲得し、組織内で大いに尊敬されるようになった。他のマネージャーたちは、どうすればKPIにこれほど劇的な変化をもたらすことができるのかと彼に尋ね続けたのだった。そして、もちろん、彼の考えたソリューションが患者のエクスペリエンスを向上させることはまったくなかった！
レーティングでの不正行為
ギグエコノミーサービス（Airbnb、Uber、Lyftなど）を利用したことのある人なら、キャンベルの法則を経験したことがあるかもしれない。これらのサービスの多くは、顧客満足度を評価するために5つ星によるレーティングを採用している。ドライバーやAirbnbのホストは、レーティングが一定の値を下回ると、仕事や顧客を失う危険性がある。その結果、ドライバーやホストは、高品質のサービス（指標の意図）を提供するだけでなく、さらには、顧客に満点を付けてくれるように直接依頼して、指標の操作もしたくなってしまうのである。
たとえば、最近、我々の同僚がAirbnbに滞在したのだが、その滞在の終わりに、彼女はホストからこんなメッセージを受け取った：
このアパートを気に入っていただき、5つ星を付けていただけるとたいへん助かります。実際、Airbnbは、4.4以下のレーティングになった宿泊先を削除する権利をもっているので、5つ星を付けていただけるたびに今後もあなたのようなゲストをさらにお迎えできるようになります。
点数がAirbnbへの登録継続に影響する可能性があることを説明することで、このホストが我々の同僚に正直に評価するのではなく、5つ星のレビューをするように（あるいはレビューをしないように）圧力をかけようとしていたのは明らかだ。
レーティングに関する不正は、さまざまな文化で発生する。たとえば、人気のショッピングプラットフォームのTaobao（淘宝網）で、中国人ユーザーは、高いレーティングを付けるようによく圧力をかけられる。Taobaoのショップの多くは、肯定的なレビューを書くように顧客に直接依頼してくるのである。良いレビューを書いた買い物客にクーポンを提供するショップもある。一方、否定的なレビューを残した顧客に対しては嫌がらせをするショップすらある。
デザインにおけるキャンベルの法則
さまざまな業界がキャンベルの法則の影響を受けるが、デジタルデザインの世界では特に悪質である。
あるストリーミングサービス
以下のストーリーは、匿名希望のあるプロダクトデザイナー（ここではKeilyと呼ぶ）が話してくれたものだ。Keilyは、大手のある定額動画配信サービスで働いていたのだが、かなり近代的なサービスを提供しているにもかかわらず、この会社の文化は昔ながらのケーブルテレビ会社とあまり変わらなかった。そして、そのことはこの会社の指標からも見て取ることができる。
この会社は顧客の維持を非常に重視していた。というのも、加入者が長く利用してくれればくれるほど収益が上がるからだ。そのため、この会社の上層部は、解約が減ることを望んでいた。
Keilyは、ある奇妙なことに気づいた。解約フローに入ったのにその作業を中止して解約しなかった場合に発生するアカウントをこの会社は「保存」（saving）と定義していたのだ。ここで使われている指標の本来の目的は、消費者の考えを変えさせて、この会社をそのまま利用し続けてもらえるようになったかどうかを把握することにあったのだが。しかし、この指標は意図しない結果を招くことになった。同社のデザイナーに解約プロセスを意図的に難しくしようという動機を与えてしまったのである。
ユーザーテスト中、Keilyは、顧客がオンラインでアカウントを解約しようとして、圧倒され、途中であきらめてしまうのを目にしたが、同社のアナリティクスの指標では、こうした行動はアカウントの「保存」としてカウントされた。しかし、実際にはアカウントは保存されたわけではなかった。顧客はチャネルを切り替えて、そのままカスタマーサービス部門に解約の電話をしたからだ。
その結果、指標は良さそうに見えるが、この茶番劇の結果は以下のような結果を生んだ：
- 顧客をさらに怒らせ、イライラさせた。彼らがこの会社に戻ってきたり、この会社を他の人に勧めたりする可能性は低いだろう。
- コストが増加した。オンラインでアカウントの解約をしてもらえず、カスタマーサービス部門に費用が発生する羽目になった。
- にもかかわらず、アカウントは最終的に解約された。
Keilyは、この問題について同社の上層部の注意を喚起しようとした。アカウントは、会社がユーザーの問題を解決した場合にのみ保存されるのであって、意図的にオンラインで解約しにくくしている場合（非倫理的なダークプラクティス）、保存されることはない、と彼女は主張した。しかし、上層部は聞く耳をもたなかった。そこで、Keilyはこの会社を辞め、UXの成熟度が高い会社で働くことにした。
指標へのこだわりがUXを低下させる：Facebookの場合
Facebookは、自社製品へのエンゲージメントを高めることに注力しており、そのため、同社は指標への過度のこだわりを示す、近年では最も重要なケーススタディの1つになっている。
最近、内部告発者のFrances Haugenが報告したように、Facebookの企業文化は、プラットフォーム上でのユーザーのエンゲージメントを重視し、奨励するものだった。Haugenの証言によると、「指標が意思決定を行う」。すなわち、同社の上層部は、デイリーアクティブユーザー数（DAU）を道徳的・倫理的な重要事項よりも優先していたのである。
伝えられるところによると、Facebookの上層部は、そうすることでユーザーに悪影響をもたらすという証拠が提示されても、アルゴリズムを使ってDAUを増やそうとしていた。Haugenは、彼らが以下の問題の悪化を犠牲にして、DAUを意図的に優先させていると非難した：
- 依存症に近い習慣的な行動
- 10代の摂食障害
- ますます過激になる政治的コンテンツ
- 偽情報
Facebookは、実際にDAUという指標を改ざんしたり操作したわけではない。にもかかわらず、この指標を何が何でも優先しようとすることで、会社全体の健全性と成長性を把握するというこの指標の本来の「意図」を明らかに破壊してしまったのである。DAUが偽装されなかったとしても、この例はキャンベルの法則の背後にある基本的な考えと一致する。つまり、ある指標にこだわると、最終的には、指標が評価するはずの現実をゆがめてしまう、ということだ。そして、この事例では、実際のユーザーエクスペリエンスとユーザーとの長期的な関係が犠牲になったのである。
Facebookの事例は極端な例ではある。製品の性質とオーディエンスの規模から、こうした会社が限られた指標にこだわりすぎると、その結果は悲惨なものになる。しかしながら、我々の業界には、キャンベルの法則の例があふれている。そこに常にFacebookの場合のような倫理的な問題があるとは限らないが、それでもビジネス上の目標に対して悪影響を及ぼす恐れはある。
指標への危険なこだわりを回避する方法
では、UXの専門家は、悪用されやすい指標を追跡するという罠に、どうすればはまらずに済むだろうか。
まず、世の中を完全かつ正確に記述する能力においてどの指標にも限界があることを認識しよう。あなた方が収集するすべての指標は、何を重要視するかというあなた方の判断を反映しているからだ。
指標は、求めている目標や結果を反映するシグナルだが、全体像を示してくれるわけではない。現実世界の行動や現象を完全にとらえられる真に絶対的な指標などない。定量的な指標だからといって、収集したデータに偏りがないとも限らないし、NorthStarフレームワーク（1つの指標を会社の全体的な「健全性」の指標として選択する）は、危険なこともある。その指標の本質的な限界を増幅してしまうからである。
第二に、指標を組み合わせて、調べたい現象をより詳しく理解しよう。満足度評価は有用な指標だが、タスク時間や成功率などの行動指標やアナリティクス指標と組み合わせると、より強力になる。これらの指標をすべて操作するのは、そのうちのどれか1つを操作するよりもはるかに難しいからだ。
第三に、定量的な尺度だけに頼らないようにしよう。定性データ（ユーザーインタビュー、ユーザビリティテスト、フィールド調査、日記調査から得られる知見など）との三角測量によって、受動的に収集されたアナリティクスのデータに頼るだけでは完全に見逃してしまうような、デザインの選択がもたらす微妙な影響を理解することができる。
最後に、データは意思決定を支援する「ツール」として扱い、指標だけで判断を下さないようにしよう。木を見て森を見ず、になってはならない。ユーザーの生活に付加価値を与え、ユーザーの生活に悪い影響を及ぼさないような、長期的で良好な関係を構築するという、本当に重要なことに目を向けよう。
結論
定量的な指標は、ビジネスやデザインを成功させるために有用であり、必要だ。しかし、これらの指標が他のすべての犠牲の上に最適化されると、ビジネスの目標を達成できず、ユーザーを裏切ってしまうことになる。
今回のどのケーススタディからも、顧客との良好な長期的関係よりも短期的な指標の伸びを優先させることによるマイナスの影響が見て取れる。
「Analytics & UX」と「Measuring UX & ROI」というセミナーで、「適切」かつ「倫理的に」指標を選択、適用、解釈する方法について学ぼう。
参考文献
W. Edwards Deming. 2019. The New Economics for Industry, Government, Education. (3rd. Ed.) MIT Press, Cambridge, MA
Charles Goodhart. 1975. Problems of Monetary Management: The UK Experience. In Papers in Monetary Economics. Sydney: Reserve Bank of Australia.
Marilyn Strathern. 1997. ‘Improving ratings’: audit in the British University system. European Review, 5, 3 (July 1997), 305 – 321. DOI:10.1017/s1062798700002660.
