ChatGPTは数学が得意でない

この問題が最もはっきりした形で現れるのが、数学だ。数学は、様々な学問分野の中でも最も厳密に確立された分野であり、ChatGPTはそれに関する大量の文献を学習しているはずだから、数学の問題について間違えることはないだろうと、多くの人が考えているに違いない。

ところが、実際にはそうではないのである。ChatGPTは、他分野よりもむしろ数学において間違えることが多いのだ。人々が信頼しているにもかかわらず、実際には間違った答えが多いのは、大問題だ。

例を挙げれば、きりがない。例えば、「円周率πが3.05より大きな数字であることを証明せよ」という問題がある。これは、2003年に東京大学の入学試験で出題され、様々なところで引用される有名な問題だ。

この問題をChatGPTに解かせたところ、奇妙な答えが返ってきた。また、ピタゴラスの定理の証明もできない。ツルカメ算の答えを間違えたり、連立方程式で間違った答えを出したりする。

ChatGPTのサイトには、「人名、地名、事実に関して間違うことがある」という注意書きがある。しかし、間違うのはこれだけではない。論理でも、頻繁に間違う。数学だけでなく、形式論理学においても誤った推論をする。

歴史でも間違える

では、社会科や理科（歴史、地理、物理、化学、生物など）ではどうか？　ChatGPTに質問すれば、答えは出てくる。しかし、その中には正しい答えもあれば、間違った答えもある。

たとえば、GPT-4は2023年4月までの情報しか学習していないため、それ以降の事柄については、答えが必ずしも信頼できない。しかし、「歴史的な事柄であれば、多くの文献を学習しているはずだから間違いはないだろう」と考える人が多いだろう。だが、それは必ずしも正しくない。

共和政ローマの武将であったポンペイウスの有名な言葉（Navigare necesse est, vivere non est necesse. 航海が必要だ。生きることは必要ない）について質問したところ、間違った答えを出した。間違いを指摘したら修正したが、その答えもまた間違いで、何度も修正する必要があった。

これでは、こちらが家庭教師になってしまうわけで、おかしなことだ。