結果が分かってから仮説を立てる「HARK」の問題点
起点と終点をいいとこ取り(チェリーピッキング)することは「結果が分かってから仮説を立てる(hypothesizing after results are known)」、略してHARKとして知られているやり方の一例です。
まずデータを取り、その後に点検して面白いことを見つけるのです。気候変動や自殺といったノイズの多いデータでは、まるで波のように、特別な理由なく上がったり下がったりする自然の変動が見られます。
やろうと思えば、異常に高い、または異常に低い点を起点か終点に選んで、上昇または下降傾向を示すのに使うことができます。潮の満ち引きのような長期の傾向を見つけるには、単に最高点と最低点だけを見るのではなく、より深くデータを眺める必要があるのです。
HARKの方法は他にもあります。データのうちどの部分を見るか、言い換えればデータを選択する基準を、好きに選べばいいのです。たとえば前述の自殺の記事ではティーンエイジャー、特に15~19歳を見ていました。
それ以外の年齢では自殺率の上昇は見られなかったのです。また、ティーンエイジャーの自殺はそもそも極めて稀なので、データにわずかでもランダムな変化があると、パーセンテージが大きく揺らぐことがあります。10~29歳の若者一般を見ると、そのような急上昇はありませんでした。
医学学術誌でもHARKが利用されている
気候に関するデータも同じです。確かに地表面の気温は長年、1998年のレベルに達しませんでした。しかし、海面から10フィートのところには、地球の大気全体に匹敵するほどの熱エネルギーが蓄えられています。
これは単なる気象学や自殺報道よりも広範な問題です。HARKは、目新しさへの要求と同様に、科学において非常に大きな問題なのです。
オックスフォード大学のEBM(Evidence-Based Medicine)センターによると、世界でもっとも高く評価されている医学の学術誌に発表された論文でも、臨床試験を登録した後で、求めるもの[検証したいアウトカム]を変更することがしばしばあり、しかもその変更について論文中に明記していませんでした(※5)。
それでは起点と終点を選ぶのと同じようなものであり、研究を成功させるためにまったく異なる選択基準すら選ぶことができてしまいます。アウトカムの変更にはもっともな理由があるのかもしれませんが、p値ハッキングの一種にもなり得ます(加えて、当然ながら、変更したことを論文中に明記すべきです)。