1. ホーム
  2. ニールセン博士のAlertbox

調査方法の微妙な違いが誤った結果の元になる

IPSOS-ASIが最近行った調査によると、ウェブ広告は、テレビ広告と同じくらいブランド認知に役立つというので、評判を呼んでいる。ユーザは、ウェブバナーの40％を、TVコマーシャルの41％を覚えていると言うのだ。この目新しい発見のおかげで、この調査は広くマスコミで取り上げられた。

この調査結果は、他で得られた証拠の多くと矛盾するという点で、非常に目立つものだ。

  • ウェブユーザを対象にしたいくつかの定性調査では、彼らは非常に目的志向で、完全にタスクに集中している間は広告が目に入らないということがわかっている
  • Will Schroederらが行ったアイトラッキング（視線追尾）調査では、バナー無視という現象が定量的に確認されている。ユーザは広告で占められたエリアには視線を止めないのだ
  • 石ころのようにクリック率が低下している。最近ではついに0.5％にまで落ち込んだ（1年前の1％から半分になった）。P&Gのように勘のいい広告主は、通常の1/7以下のコストしかバナー広告にかけなくなっている。

新しいデータがそれまでの調査や、確立されたインタラクション理論と矛盾する場合、まず最初に行うべき反応は、古い洞察を捨てることではなく、新しいデータを疑ってみることだ。確かに、時にはEinsteinのような人が現れてNewton的世界観をひっくり返してしまうということはありうる。だが、矛盾するケースのほとんどは、単なる思い違いなのだ。

今回のケースでは、調査の方法論を仔細に調べることによって、小さな、しかし重大な問題点が見つかった。ユーザの扱い方に問題があって、現実世界のウェブ利用の予測としては非現実的な結果になっているのだ。

テレビの視聴者は、どの番組を見るか指定されていた。自分たちの見たい番組を見ていたのではない。これはあまり自然な状況とはいえない。だが、コマーシャルに対してどの程度の注意を払うかを調べる上では、あまり影響はないだろう。

同様のアプローチでオンラインユーザの調査をする上で、彼らはAmerica Onlineの特定のセクションにおもむいて、「そのエリアのコンテンツを評価する」よう依頼されていた。評価というのは、自分のゴールを達成するために何かを利用するというのとは、まったく異なったユーザエクスペリエンスである（通常のユーザは後者の利用形態である）。利用するつもりのまったくないページを評価するように依頼されたら、各ページをよく見て、ページ上のあらゆるデザイン要素をチェックしても不思議はない。反対に、実際にウェブを利用している時には、問題解決にもっとも役立ちそうなソリューションにまっすぐ直行して、それ以外のあらゆる要素は無視するのだ。後者のユーザは、ゴールに導いてくれるリンクを見つけたら、それをクリックしてページから去ってしまう。（ついでにいうと、この現象は、調査対象にサイトをチェックしてもらい、質問紙による評価をしてくれるよう依頼しても、あまり実効性がないということの証明でもある。）

TVとオンラインでの広告測定基準にはわずかな違いがある。TVの視聴者は電話で読み上げられた言葉による質問に回答したのだが、一方、コンピュータユーザは画面上に表示された視覚的な質問に回答した。質問は視覚的に表現した方が、耳から入る質問より、回答者の記憶を引き出す可能性が強い。この後者の問題が、この調査結果にどの程度の影響を与えているかはわからない。だが、前者の問題は、本物のウェブユーザに興味を持つ人にとって、この結論を無意味なものにするに十分である。

TVとオンラインの比較調査を完璧に設計するのは、非常に難しいことは私も認めよう。この両メディアにおけるユーザ行動はあまりにも違いが大きいからだ。今、議論しているこの調査では、人々を同一なものとして扱うことを目的としている。だが、ウェブでは非現実的な結果が出てしまったのは、まさにこれが原因なのだ。たとえ話で言うと、クルマと自転車を比較するのに、それぞれの運転者に同じスピードで走るように頼むようなものだ。その結果、クルマの持ち主はあまり遠出をしない、という結論を出してしまうかもしれない。

ユーザ行動の違いを認めた方が、もっと自然で、よりよい調査ができただろう。1時間の間、TVを見て（好きな番組を選んでもらう）もらって、コマーシャルをいくつ覚えているか調べる。ユーザに1時間、ウェブをブラウズしてもらう（実際のタスクを遂行している最中がよい。例えば航空券の予約とか、どのスキャナーを買おうか調べるとか、長年あっていない友人のアドレスを追跡するとか）。そして、記憶に残っているバナーは何だったか調べる。この調査ですら、完璧に現実的とはいえない。なぜなら、特定のデータにアクセスするために、ごく短時間ウェブを使うということが多いからである。

このケーススタディは、細かい点にまで注意を払うことが、定性調査を行う上でいかに大切かを示している。方法論上のもっとも小さな問題でも、結果に重大な影響を与え、解決しようとする現実世界の問題とはまったく無関係な結果をもたらす可能性がある。

幸い、ほとんどのウェブユーザビリティ調査はもっとしっかりしたものだ。まったく異なる概念間での数値比較などはやらないからである。顧客がどのようにサイトを利用しているか、どこが使いにくいと思うかを調べるというのが、もっともよくあるウェブ調査だ。代表的なユーザを選び、彼らの行動にバイアスをつけないようにすれば、デザイン上の主なユーザビリティ問題は、ほとんど洗い出せるだろう。がっかりすることはない。私がここで批判したものに比べれば、現実のプロジェクトのほとんどは、ずっと弱点が少ない。

1999年2月21日

キーワード