インターネットでのアクティビティバイアスは、ユーザーの行動にムラを作る
人々がWebをどれだけ利用するかは、日によって劇的に異なる。そのことは、アクセス解析の安易な解釈を歪めてしまう可能性を持っている。
新設のトレーニングコース「データ分析とユーザーエクスペリエンス」の準備中のことだった。Webサイト指標を単純化して捉える多くの方法が妥当でないという、少し前の研究を見つけたのだ。恥ずかしながら、この研究結果に気づくまでに2年もかかってしまった。その論文を書いたのは経済学者たちで、普段、私はその動向を追っていなかった。
この研究を行なったのが経済学者で、ユーザビリティ関係者でないとしても、これは情報採餌と情報の匂い以来の、Webでのユーザー行動に関する最重要の新しい知見である。
この研究結果の要点は、従来認識されていた以上にユーザーの行動にはずっとむらがある、ということだ。つまり、どんなユーザーにもインターネットでのアクティビティが異常に活発な期間と活発でない期間が交互に現れる、ということである。
そう、またしても、これが意味するのは、特定の刺激にさらされることによって一定の行動が引き出されるわけではない、ということである。たとえ、さらされたあとにこの行動がよく起こるようになったのを目にしても、だ。いつも言うように、相関から因果関係はわからない。隠れた共変数が存在している可能性もあるからである。以上の結果より、ユーザーアクティビティのバイアスがそうした共変数の1つであること、そしてそれが非常に強い影響力を持つことは明らかだろう。
プロモーションビデオによって人々はWebサイトを訪れるのか
Yahoo!のRandall A. Lewis（訳注：論文発表当時。現在はGoogle在籍）と彼の同僚らは1つの実験を行ない、AmazonのMechanical Turkサービスの訪問者にYahoo!のプロモーションビデオを見るように依頼した。以下のグラフが示すのは、このユーザーたちがビデオを見た当日とその前後各2週間にYahoo!ネットワーク内のサイトを訪問したかどうか、である。
グラフの太い青い線が示すのはAmazon Mechanical Turk訪問中にYahoo!のプロモーションビデオを見たユーザーの行動の経時的変化である。0日目とはユーザーがビデオを見た日を指している。その日はYahoo!の訪問率が劇的に高い傾向にあることがわかる。
視聴前2週間のユーザーの平均的行動から考えると、データが示すように、このサイトのプロモーションビデオを見た日にYahoo!への訪問が144％上昇しているというのは素晴らしいことである。もっといいのは、ビデオによるこうした影響がしばらくの間はユーザーに残っていることだ。次の日（1日後）のユーザー訪問率の上昇は43％とよりささやかではあったが。
こういうデータ分析論文に慣れてない読者ならこのプロモーションビデオはマーケティングツールとして最高だと結論づけるかもしれない。このビデオをより広範囲の人に見てもらうためにYahoo!が多額の投資をすべきなのは明らかだ、と。
だが、ちょっと待ってほしい。グラフを精査するとわかるのは、ユーザーがプロモーションビデオを見る前の数日間にも訪問が増えているということである。1日前にも、Yahoo!の訪問率は36％上昇している。どうしてそうなるのか。タイムトラベルを信じていない場合、プロモーションビデオを見る前に、一体どうやったらそのビデオのおかげでサイト訪問が増えると考えればいいのだろう。
まずいことはさらにある。グラフの細いオレンジの線を見てほしい。この線が示しているのはAmazonのMechanical Turkサービスを訪問した際に、Yahoo!のことには何も触れない無関係のビデオを見せられたユーザーの行動である。グラフが示すように、このユーザーたちのとった行動のパターンもプロモーションビデオを見たユーザーと基本的には同じだったのである。
したがって、その無関係のビデオを見た日、対照群もまた、Yahoo!を訪問したいと強く思ったことになる。そのうえ、こうしたYahoo!への訪問の増加はしばらくの間、持続していた。
Yahoo!のことに触れていないビデオがYahoo!ブランドに対する視聴者の印象を強化したという考えを信じるのには無理がある。無関係のビデオを見たことによってYahoo!のサイトを訪問したわけでないのは明らかだからである。したがって、2本のビデオの効果が基本的に同じだったことから考えると、プロモーションビデオはYahoo!への訪問動機にはなってないといえるだろう。
それにもかかわらず、Yahoo!への訪問は劇的に増加していた。この理由がプロモーションビデオでないなら、なにが原因で訪問は増えたのか。その理由は、刺激群と対照群のどちらのユーザーも、単にビデオを見た日にはインターネット上でより活動的だったからである。
この現象をアクティビティバイアスという。つまり、人はオンライン上で非常にいろんなことをする日もあれば、ほとんど何もしない日もあるのである。
非常に活動的な日には、アクティビティAやアクティビティBがなんであれ、人はその両方を行なう傾向にある。（この実験で言うと、「A」はMechanical Turkを訪問してビデオを見ること、「B」はYahoo!を訪問することだった）。
重要なのは、AとBが無関係であっても、ユーザーがAをするのを観察できたこと自体、彼らが活動的な日にあたっているという可能性が高いことを指し、その結果、彼らがBを行なう可能性もまた高くなる、ということである。
検索連動型広告によって人は買い物をするのか
eBayのThomas Blakeと彼の同僚らもまた、Google とBing上の検索連動型広告を使った実験でアクティビティバイアス効果を説明している。
この実験以前、eBayは検索連動型広告を幅広く運営しており、クリックスルー率が良かったときと、広告をクリックしたユーザーへの売上に有意差がみられるときの記録をとっていた。こうした記録から広告の価値はわかるのだろうか。必ずしもそうではないと言えるだろう。
アクティビティバイアスについて知っていると、ユーザーがeBay上の広告をクリックしたということ自体、その日はユーザーが非常に活動的だった1日にあたっていたのではないかと考えるようになる。(活動的でない日には、あまり検索しなくなるし、広告をクリックすることも減るからだ)。活動的な日にあたっていれば、ユーザーのeBayでの買い物も増えるだろう。
したがって、広告クリックと商品購入が同じ日に起こったというだけでは、その広告が購入の原因になったとは言えない。2つのことが起きたのは、その日はユーザーが特に活動的だった日だったから、Webでたくさんのことをした、という可能性もあるからだ。
最初の実験として、BlakeらはGoogleと Bing上で、単にブランド名の入ったキーワードについての広告をすべてオフにした。（ブランド名の入った検索とはユーザーの検索キーワードに企業名やブランド名を含むものである。たとえば、「eBay 靴」で検索する場合がそれにあたり、単に「靴」あるいは「靴 買う」で検索するときはそうではない）。
広告がきっかけの訪問がなくなったのは明らかなのに、eBayへのアクセスは止まらなかった。著者の分析によると、Bing上でのブランド検索広告からのクリックは期待値の0.5％しか減らなかった。その一方、Googleでのクリックは3％減った。どちらの場合も、広告があればクリックしたであろうユーザーの大部分が、他の手段を使って、eBayになんとかたどり着いていた。そこではオーガニック検索結果のクリックを利用する人が多かった。
思い出してほしいのは、これがブランド名検索だったことである。つまり、ユーザーはeBayを検討対象にすると既に決めており、その証拠に、彼らは企業名を検索キーワードに入れていた。したがって、そのWebサイトへの訪問を既に決めている人にさらに広告を打つのがお金の無駄になるのは当然とも言えるだろう。
（私の考えでは、企業の中にはブランド検索広告を打つことで、ユーザーの目に入る競合他社広告の数を減らしているところもある。彼らは見込み客の目を土壇場で逸らそうとしているのである。しかしながら、ブランドの評判がそこそこ良い企業が、する価値のなさそうな競争を避ける方法として考えると、これは非常にお金がかかるやり方である。あなた方が提供しているものを調べたいという結論にすでに達している人が、他社の広告によって方向転換をするという可能性は低いからである）。
2回目に実施したより詳細な調査で、Blakeらがテストしたのは、ブランド名の入ってないキーワードについての広告の有効さだった。ここでは、彼らは無作為に選んだアメリカの65の大都市圏で検索連動型広告を休止した。そして、こうした地域とできるだけ厳密に一致させた、68の大都市圏からなる対照群を作り出し、そこでは通常通りに検索連動型広告を続けた。著者らの推定では、全体で、有料の検索連動型広告による売上の増加分は0.4％、また、そこでの投資利益率はほぼゼロで、統計的有意差はなかった。
売上のわずか0.4％という数字は検索連動型広告をクリックした人に起因しているわけではない。広告をクリックした人からの売上の割合はずっと高いからである（eBayは実際の数字を公表してないけれども）。しかしながら、ここでのキーポイントは、こうした売上のうちの多くが広告なしでも発生しただろう、ということである。検索連動型広告が実施されていた地域では、多数のユーザーがそうした広告をクリックしていた。というのも、クリックするのは難しいことではないし、広告がすぐ目の前に出ていたからである。ユーザーとは無精なものである。それは数え切れないほど多くのユーザビリティ調査から明らかである。そして、この点が広告の「売上への貢献度」を押し上げたのだ。しかし、広告が実施されなかった地域でも、ユーザーはそのサイトに別の方法でたどり着き、ほぼ同数のものを購入している。
さらなる分析で、著者らはeBayで購入した人たちが前年にもそこで買い物をしていたかどうかについての検討もしている。前年、購入しなかった人の場合、検索連動型広告によって増加した売上は、一般的な推定値よりもずっと多かった。また、昨年中に1、2回購入した人も検索連動型広告が理由で少々売上が増えていた。しかし、去年、3回以上の購入をしていた顧客の検索連動型広告による売上の上昇はほぼゼロに近く、有意差はなかった。
この結果はブランド入りキーワードについての調査結果と一致している。つまり、検索連動型広告のメリットは、あなた方について知らなかったり、あなた方のことを覚えてない顧客への露出によってもたらされる。つまり、そのブランドを知っている人はそうした広告には左右されにくいのである。
この研究から得られる重要な教訓とは何か。それは、どんなときもユーザーのラストクリックによって売上が生じると仮定し、広告の「売上への貢献度」について単純な分析しか行なっていないマーケティングマネージャーは、あとでアクティビティバイアスに悩むことになる、ということだ。広告のクリックもし、購入もするというユーザーの多くは、広告を見ていなかったとしても購入しただろうからである。広告の真の影響力を明らかにするには対照実験をするしかないだろう。
なぜアクティビティバイアスは存在するのか
アクティビティバイアスは非常に影響力があるので、アクセス解析を単純に捉えて結論を出すと大きく間違ってしまう、という強力な証拠がいくつかの実験から発見されている。
アクティビティバイアスがユーザーの行動で顕著なのはなぜだろうか。それはわかってはいない。したがって、さらなる調査が必要だろう。しかしながら、もちろん推測することは可能だ。以下は、考えられる、アクティビティバイアスの存在理由である：
• 人にはコンピュータで暇つぶしをする時間がたっぷりある日もあれば、休暇や出張中、あるいは何かの締め切りが迫っていたり等の理由でオンラインに使う時間が最小限になる日もある。
• コンピュータに向かうこと自体に魅了されることもある。ある1つのことを調べようと座ったら、調べ終わったときには1時間経っていて、Webサイトを20個も訪問していたということもある。1つのことがきっかけで止まらなくなってしまうのである。しかし、ある1つのことを調べて、すぐに上司のところに行き、それについて議論しければならないときもある。そういうときにはWebの魅惑的領域に寄り道する時間はまるでないだろう。
• 外的要因、たとえば、研究論文の執筆や休暇の計画のためにWebを多用することもある。
• Webの利用には気分も影響する。ユーザーの機嫌が良くないときならうんざりして、インターネットするのをやめてしまうようなユーザーエクスペリエンスにも、機嫌が良ければ不満を持たないかもしれない。
• インターネットの利用は現実世界の出来事によって促進されることもあれば、阻害もされる。ネットワークの故障（利用はゼロになる）から、ハリケーンまで（閉じ込められている間、接続が可能なら、大いに利用されるだろう）いろんな出来事が起こりうる。
先述したように、ここで挙げている理由は推論によるものだ。確実にわかっているのは、アクティビティバイアスは現実に存在しており、結果、ユーザーのオンラインの行動にはむらがあるということである。我々がすべきことは、このことを認識して、可能ならそれをデザインに活かすこと、また、分析データを利用するときにはそうしたことをしっかりとコントロールすることだろう。
参考文献
Thomas Blake, Chris Nosko, and Steven Tadelis: “Consumer heterogeneity and paid search effectiveness: A large scale field experiment,” National Bureau of Economic Research, Meeting on the Economics of Digitization (March 8, 2013).
Randall A. Lewis, Justin M. Rao, and David H. Reiley: “Here, there, and everywhere: Correlated online behaviors can lead to overestimates of the effects of advertising,” Proceedings International World Wide Web Conference WWW 2011 (March 28–April 1, 2011, Hyderabad, India).
（警告： 参考文献のリンク先はPDF形式の学術論文である）
