多くのランキングは主観的意見に基づく
さらなる問題は、ランキングの多くは主観的な意見を集めたものに基づいていることです。たとえば世界大学ランキングのスコアは“学者の評判”を重視しており、大学スコアの40パーセントがそれに依存しています（※9）。
学者に対して調査を行い、200校の大学について、教育と研究をどのくらいしっかりやっていると思うか尋ねます。ほとんどの学者は対象となるほとんどの大学で一度も講義を受けたことがないので、多くは推測になります。
そのため、ランキングはかなり変動しやすいものになります。たとえば、デイヴィッド［著者のデイヴィッド・チヴァース］が学んだマンチェスター大学は、世界大学ランキングで27位ですが、「ガーディアン」のイギリス大学リストでは40位です（※10）。
これは明らかにおかしいです。イギリス国内にマンチェスター大学より良い大学が39校あるなら、イギリスを含む世界のランキングでマンチェスター大学より良い大学が26校のはずがありません。
トム［著者のトム・チヴァース］が大学院の学位を取ったロンドンのキングス・カレッジもおかしなことになっています。イギリスで63位なのに、世界では31位です。
このように直観に反する結果が出るのは、ランキングにどんな指標を用い、それぞれにどのくらい重きを置くかの判断のせいです。もし“学者の評判”より“学生の満足度”を重視するなら、結果は違ってくるでしょう。
指標として何を評価するかについての恣意的な判断が、結果をがらりと変えてしまいます。ランキングがすべて誤りというわけではありませんが、神様のごとく正しいと見なしてはいけないのです。
数値がわずかな差の場合のランキングの問題点
さて、PISAランキングに戻りましょう。PISAランキングは何に基づいているのでしょうか？ このランキングは役に立つのでしょうか？ まず、PISAは大学ランキングほど主観的ではないことは認めましょう。
スコアは、各国で15歳の子どもに実施される標準化された試験に基づいています。試験科目は数学、科学、読解力です。そして、これらの試験は実生活での妥当性を担保しているように見えます。
つまり、PISAテストで成績の良い子どもはそうでない子どもに比べて、さらに進んだ教育を受け、後の人生で良い職を得る可能性が高いという傾向が見られます（※11）。つまり、PISAテストは現実の何かを測定しており、ランキングがまったく無意味とは言えません。
しかし、PISAランキングはPISAスコアに基づいていており、イギリスのように裕福な先進民主主義国家のほとんどはPISAスコアが似通っています。たとえば読解力を見ると、イギリスの平均スコアは504点で日本と同じ、オーストラリアより1点高く、アメリカより1点低い（※12）。
スコアは555点（中国の4つの省）から320点（メキシコとフィリピン）に広がっていますが、裕福な先進民主主義国家の20カ国はほぼすべて493点から524点の範囲に集中しています。
何も変わらなくてもランキングが大幅アップする
そのため、統計学的に有意ではないわずかな変化でも、イギリスの順位は何番か下がってしまいます。実際、PISAはご親切にも、イギリスのスコアが、スウェーデン（506点）、ニュージーランド、アメリカ、日本、オーストラリア、台湾、デンマーク、ノルウェー、ドイツ（498）と統計学的に区別できないと言ってくれています。
実際には何も変わらなくても、理論上は、ある国が20位から11位に飛び上がることがあり得るのです（イギリスの数学ランキングは27位から18位に上がりました。ただ、それはどうやら統計学的に有意だったようです）。
繰り返しますが、ランキングが無用というわけではありません。しかし、ランキングはそれ自体ではそれほど役に立ちません。ランキングに使われるスコアを知る必要がありますし、そのスコアがどのように作られるかを知る必要があります。
贔屓のサッカーチームがライバルを1点上回ってシーズンを終えるかどうかは気になるでしょうが、自国の経済規模がインドより1パーセント小さいかどうかなんて、まったく気にならなくて当然ですよね。
[脚注]
※1. Sean Coughlan, ‘Pisa tests : UK rises in international school rankings’,BBC News, 2019
※2. ‘India surpasses France, UK to become world’s 5th largest economy:IMF’, Business Today, 23 February 2020
※3. Alanna Petroff, ‘Britain crashes out of world’s top 5 economies’, CNN,2017
※4. Darren Boyle, ‘India overtakes Britain as the world’s sixth largest economy （so why are WE still planning to send THEM £130 million in aid by 2018 ?）’, the Daily Mail, 2016
※5. World Economic and Financial Surveys, World Economic Outlook Database, IMF.org
※6. Marcus Stead, ‘The quiet death of Virgin Cola’, 2012
※7. Clark, A. E., Frijters, P. and Shields, M. A., ‘Relative income, happiness,and Utility : An explanation for the Easterlin Paradox and other puzzles’,Journal of Economic Literature, 46（1） （2008）, pp. 95︲144 doi : 10.1257/jel.46.1.95
※8. IMF World Economic Outlook Database, 2019
※9. ‘QS World University Rankings : Methodology’, 2020
※10. ‘University league tables 2020’, the Guardian
※11. OECD PISA FAQ
※12. ‘PISA 2018 results : Combined executive summaries’