「統計的に有意」の本当の意味とは

しかしながら、“統計学的に有意”とは世の中の普通の感覚で“意味がある”ということではありません。もしある結果が統計学的に有意なら、それが真実である可能性がかなり高いということを意味しているだけです。他にも考える必要があるのは効果量[エフェクトサイズ]です。都合のよいことに、“統計学的に有意”とは異なり、効果量とは文字通り、効果の大きさという意味です。

たとえば『ニュースの数字をどう読むか』を読んだ500人と、本書より劣る本、たとえば『ミドルマーチ』[ジョージ・エリオットの代表作であり、イギリス小説の最高峰とも言われている]または『シェイクスピア全集』を読んだ500人を比較します。そして、統計の能力に対する効果を測る代わりに、何時に眠りについたかを測り、どちらがより遅くまで起きていたかを調べます。

結果を見れば明らかです。『ニュースの数字をどう読むか』を読んだ500人全員が、他方を読んだ500人より遅く眠りにつきました。

これは疑いなく統計学的に有意な結果でしょう。差がどのくらいあったか知らなくても、これが偶然でない確率は天文学的に高く、宇宙に存在する原子の数よりずっと大きいでしょう。研究がきちんと行われていれば、実際に影響(効果)がないわけがありません。

写真=iStock.com/dragana991
※写真はイメージです

統計的に有意でも役立たないこともある

さて今度は、その効果がどのくらい大きいかを考えてみましょう。『ニュースの数字をどう読むか』を読んだ500人全員が、ちょうど1分だけ遅く眠りにつきました。

これが実際の効果です。統計学的に有意です。でもあなたの生活にはまったく無意味です。もしあなたが睡眠の改善方法に関する情報を得ようとしているのなら、何の役にも立ちません。

何かが統計学的に有意かどうかは、科学者にとっては大きな関心事です。何かが別の何かと関連することが分かったら、その関連性を調べることができますし、背景にあるメカニズムについても何かが分かるかもしれません。

たとえば、もし画面を見る時間が睡眠に与える効果が実際にあるなら、たとえそれがわずかであっても、人間のサーカディアンリズムがどのように働くのか――ブルーライトは私たちの体内時計のリセットに役立つのか――について何かを教えてくれるかもしれません。