1. ホーム
  2. ニールセン博士のAlertbox

ある長大な検索の道のり

（2011年4月のJakob Nielsenの「不適切な調査スキルがユーザーの問題解決を抑制する」に関するコラムへの補足記事）

オーストラリアで最近実施したユーザー調査で、我々はあるユーザーに世界一人口の多い都市を見つけるように依頼した。そのユーザーがたどった22回のページビューの過程は以下のようなものだった：

  1. google.com.auに行った。
    • “city with greatest population”（人口が最大の都市）を検索した。
  2. GoogleのSERP（検索エンジン結果ページ）で、彼女は最初の7件のヒットのタイトルと要約、URL欄のサイト名を読んで検討した。
    • それから、5番目にヒットしたWorldAtlas.comを選択した。そこにはGoogleからCity Populations – World City Populations, Biggest Largest Citiesというページに直接行けるディープリンクがあった。それよりランクが上だったサイト（CityMayors.com とWikipedia）は、「常にWikipediaに行くわけではないのです。こういうものの場合はかなり正確なのでしょうけど」と言って、飛ばした。
  3. WorldAtlas.comで、32,450,000人の住民がいる東京、という答えを見つけた。
    • 彼女はこれが正しい答えであると完全に自信があったわけではないので、「いくつか別のサイトに行って、そこでちょっとクロスチェックする」つもりだと言った。
  4. 戻るボタンをクリックして、GoogleのSERPに戻った。
    • 3番目にヒットしたWikipediaを選択した。そこにはGoogleからList of cities proper by populationというページに直接行けるディープリンクがあった。4番目のヒットとして、そのSERPはList of cities in Australia by populationという2つめのWikipediaのページを挙げていたが、彼女はこのリンクは選択しなかった。見つけたいのは世界最大の都市だったからである。
  5. en.wikipedia.orgで、12,831,900人の住民がいるShanghai、という答えを見つけた。
    • 前のサイトの回答と一致してないことに気づき、その違いは各々の統計の時期によるものだろうという仮説を立てた。
  6. 戻るボタンをクリックして、GoogleのSERPに戻った。
    • 最初の答えを見つけたリンク（5番目にヒットしたWorldAtlas.com）を再び選択した。
  7. WorldAtlas.com によると、データの中には2010年にアップデートされなかったものもあるということなので、東京の数値は2009年に収集されたものではないだろうかという判断を下した（サイトがその年を示していたわけではない）。
  8. 戻るボタンをクリックして、GoogleのSERPに戻った。
    • 新しいサイトを選択した。それは6番目にヒットしたMongabay.comだった。そこにはGoogleからWorld’s Largest Cities [rank: 1-1000]というページに直接行けるディープリンクがあった。
  9. Mongabay.comで、34,400,000人の住民がいる東京、という答えを見つけた。
    • 「非常に多くのウェブサイトがお互いにフィードしあっているので、それらの両方が同じデータセットからフィードしている可能性もあります。ですから、まだ見ていく必要があります」と指摘した。
  10. 戻るボタンをクリックして、GoogleのSERPに戻った。
    • 7番目にヒットしたPubQuizHelp.comを選択した。そこにはGoogleからCities – Highest Population | Geography | Pub Quiz Helpというページに直接行けるディープリンクがあった。
  11. PubQuizHelp.comで、14,608,512人の住民がいるShanghai、という答えを見つけた。
    • 「さらに検索を続ける必要があるでしょう。これまでに得た情報では不十分なので」と彼女は述べた。（正しい答えを見つけようとすると「ウェブ上に永遠にいることになりかねないですね」とも彼女は指摘した）。
  12. 戻るボタンをクリックして、GoogleのSERPに戻った。
    • スクロールダウンして、8番目にヒットしたNationsOnline.orgを選択した。そこにはGoogleからThe Most Populated Cities of the World. World Megacities – Nations…というページに直接行けるディープリンクがあった。
  13. NationsOnline.orgで、14,348,535人の住民がいるShanghai、という答えを見つけた。
    • このデータが2007年に収集されたものであることを指摘した。
  14. 戻るボタンをクリックして、GoogleのSERPに戻った。
    • スクロールアップして戻り、3番目にヒットしたWikipediaを再び選択した。
  15. en.wikipedia.orgで、情報源として2007年のデータベースを引用しているという脚注を目にし、そのShanghaiの数値は2007年に収集された物であるという判断を下した。実際には、その脚注はWikipediaのその記事内の他のデータについて言及したものだった。Shanghaiのその人口値は2008年に収集したものであるという、別の脚注内の他の情報源からの引用だった。
    • 「Shanghaiを挙げているものは2007年の統計ですが、東京を挙げているものはたぶん2009年の統計なので、こちらのほうが若干正確さに勝るように感じ始めています」と言った。
  16. 戻るボタンをクリックして、GoogleのSERPに戻った。
    • さらにスクロールダウンして、10番目にヒットしたGeography.About.comを選択した。そこにはGoogleからLargest Cities in The World – List of the Largest Citiesというページに直接行けるディープリンクがあった。
  17. About.comで、33,200,000人の住民がいる東京・横浜、という答えを見つけた。
    • このリストが2005年に収集されたデータをベースにしていることを指摘し、「さらに悪くなってきています」と言った。
  18. 戻るボタンをクリックして、GoogleのSERPに戻った。
    • 現在の検索キーワードに”2010 data”（2010年のデータ）という言葉を付け加え、検索文字列を変更してから、”city with greatest population 2010 data”（人口が最大の都市2010年データ）と検索した。
    • 検索のヒット結果には主に各国の人口（それと、どういうわけか、California州のSan Joseの人口）が挙がってきた。そこで彼女は「そこで得られる検索結果を私は気に入らないでしょう」と言った。
    • 8番目にヒットしたWholesomeWords.orgを選択した。そこにはGoogleからStatistics Population, World, Countries, Cities, Religions, Roman … というページに直接行けるディープリンクがあった。
  19. WholesomeWords.orgで、様々な統計値が載った非常に長いページを入手したが、そのページの約20％だけスクロールダウンしたところで、そのサイトを放棄した。彼女が探していた情報がなかったからである。もしかして、ページのもっと下にはあったのかもしれないが。
  20. 戻るボタンをクリックして、（変更された）GoogleのSERPに戻った。
  21. 戻るボタンをクリックして、（検索キーワードに言葉が追加されていない）最初のGoogleのSERPに戻った。
    • 5番目にヒットしたWorldAtlas.comを再び選択した。
  22. WorldAtlas.comは彼女が最初に訪問したページだが、そのサイト上で、最も可能性のある答えは東京である、と彼女は結論づけた。なぜならば、「これが最新のデータセットであるように思われる」からであった。

このユーザーがGoogleのトップの2件のヒットを1度も選択しなかったのは興味深い。それらは選ばれがちなものだからだ。これらのヒットは両方とも、そのサイト自身によると「都市問題専門の国際的なシンクタンク」という、CityMayors.comのものだった。（そのサイトでの回答は1020万人の住民がいる Seoulだった）。

そのユーザーは一番上に出てきたこうしたヒットについて全く言及しなかったので、我々にできるのは、彼女がなぜそれらをクリックしなかったのかを考えることだけである。我々の観察によると、彼女はページの中央部にあった、WikipediaやWorldatlas.comからのヒットにまず引きつけられ、そのSERPを再訪するときには、上に戻って見ることをせずに、単にそこから下に流し読みしていっているように思われた。

そのユーザーのタスクの実行には大きな問題が2つあった：

  • かなり直接的な質問に対して、なぜまるで違う答えが返ってきているのかを彼女は理解していなかった。その理由は横浜のような近郊のエリアを入れて、大都市圏全体で考えると、東京（およそ3300万人）が世界最大の都市である一方、公式なその都市圏のみで勘定すると、Shanghai（およそ1300万人）が最大になるからである。
  • 都市の人口がどのように測定され、それがなぜこれほど大きく異なっている方法で推定されるのかを説明している可能性のある、信頼すべき情報源を見つけ出すため、特定のGoogleのSERPリスト以外のところに行くことを我々のユーザーは決してしなかった。
キーワード