生存者効果によるバイアスを避ける

※ユーザビリティ・ガイドライン適合度の改善に関するJakob Nielsenのコラムへの補足記事

2002年中期eコマース・ユーザビリティ調査の対象サイトを選択する上で、私たちは2000年のレポートで調査したサイトを対象外とした。理由は？生存者効果を避けるためだ。

2000年の調査対象サイトで、現存しているサイトは2、3サイトしかない。生き残ったサイトを、もとのグループからランダム抽出したサンプルとは見なさない方が安全だろう。むしろ、うまくやったサイトと死に絶えたサイトの間には、重大な違いがあったと考えるべきだ。生存はある面、運次第だが、大部分は優れたマネジメントとインターネットの基礎理解の賜物だ。よって、生き残ったサイトは、オンライン・ビジネス運営のなんたるかが、極端によく理解できていたと考えられる。

ユーザビリティはウェブで成功を収める上で主要因のひとつである。もちろん、これだけではだめだ。価格設定のまずさや、あまりにも攻撃的な拡張策が原因でつぶれたeコマース・サイトを、誰もが知っている。だが、優れたマネジメントとシンプルなデザインの間には強い相関がある。

よって、生存者効果のおかげで、2000年の調査から残ったウェブサイトには、平均をはるかに上回るユーザビリティがあったことが予想される。このため、これらのサイトを2002年の調査に含めると、純粋に選択時バイアスだけが原因となって、平均値が劇的に向上するはずだ。

株式市場にも、同様の生存者効果の実例が見られる：株式を購入して20年間保持することによる投資利益率を計算したいとしよう。今の株式市場を見て、株式公開後20年以上の企業群を選び出すというのは、その一法である。これなら、20年前購入時に支払っていたはずの価額と現在の株価を比較できるだろう。残念ながら、このやり方は投資利益の過大評価につながる。生存者効果のせいで、サンプルから失敗企業が抜け落ちてしまうのだ。20年前に株を買った現実の投資家は、その資金のいくらかを、後に倒産する企業に費やしていたはずだ。