確率論と有意性ハンティング

※「定量分析の危険性」への補足記事

コインを投げて、表が出る回数が多いから、コインにバイアスがあるかもしれないと、疑ったとする。実験を行い、コインを 10回投げ、7回表が出て、3回裏が出た。これはコインに偏りがあることを証明しているだろうか？

コインを 10回投げたとき、可能性としては 1,024通りの結果がある。この中で、最低でも6回表が出る結果はいく通りあるだろうか。表がちょうど7回出るのは120通り、8回が45通り、9回が10通り、10回全部が表なのは1通りだけだ。最低でも6回表が出るのは合計すると176通りだ。

したがって、偏りのないコインだという前提では、10回中最低でも7回表が観測できる確率は 17％となる。

400 枚のコインの物語

銀行に行って、100ドル分の25セント玉を持ってきたとする（400枚になる）。各コインを10回ずつ、投げ、そして1枚だけ10回とも表が出た。このコインは明らかに偏っているはずだ。表が10回出るのは、p = 0.1％で、統計的には強い有意性があるといえるからだ。

これは間違いだ。ここでの問題は、統計的な有意性ハンティングを行い、計算的な想定に違反しているのだ。

私たちは偏りのないコインを10回投げれば、10回とも表が出るのは 0.1％の確率しかないことを知っている。しかし、この実験を400枚のコインを使って何度も繰り返せば、10回ともすべて表が最低でも1回観測される確率は32％ある。そして、32％は統計的に見て優位性があるというには、あまりにも高すぎる。

さらには、裏が 10 回出る確率も32％だ。言い方を変えれば、半分以上の確率で10回とも同じ面を出すコインを見つけられることになる。

これがたくさんの変数を採取して、その中に相関性がある要素を見つけたからといって、有意性を唱えるのが間違えだという理由だ。それを行うのは、たくさんのコインを投げて、その中に普通じゃない結果を出すコインがあったことを発表するのと同じことだ。

マスコミはユーロのコインでの実験を報道した。そのコインはあとほんの少しで表が出すぎる傾向が統計的にあったのだ。これが本文で書いた出版のバイアスだ。この実験結果が報道されたのは、ただそれが面白かったからだ。ほかの統計の教授たちもユーロのコインを使って確率のデモンストレーションを生徒たちに見せただろうが、何かおかしな結果が出なかった場合、それについて教室の外で語られることはなかったのだ。