API接続しても、誤答を防げない

「大ちゃん」は、ChatGPTそのものではなく、それに大阪府独自のデータベースを接続したものだ。大阪府としては、大阪弁にして親しみやすくするという目的があったのかもしれない。

野口悠紀雄『ChatGPT「超」勉強法』（プレジデント社）

一般的にいえば、ChatGPTを独自のデータベースに接続すれば、データベースに入っていることについては正しい答えを出すはずである。

私は、ChatGPTにデータベースをAPI接続することによって、ハルシネーションをある程度避けることが可能だと考えていた。実際、そのような目的で、様々なアプリが開発・提供されている。それにもかかわらず間違った答えを出したのだ。

その意味で、これは深刻な問題だ。API接続がうまく機能しないのであれば、ハルシネーションの問題に対処するのは、きわめて難しいということになる。

つまり、大阪府の「大ちゃん」サービスが提起した問題は、独自のデータベースにAPI接続してもなお、ハルシネーションを防げないということなのである。

ChatGPTは確立された知識でも間違える

ChatGPTが誤った答えを出すことは、広く知られるようになった。ただ、多くの人は、それは最近の出来事や、具体的な事実や統計データについてのことだと考えているだろう。そして、確立された知識については、関係ないと思っているだろう。

実際、先のアンケート調査においても、「ChatGPTをどの科目で使っているか？」という質問に対して、まず数学、そして化学や生物学などのハードサイエンス分野での利用が挙げられている。

「これらについての知識はすでに確立されたものであり、ChatGPTもそれらを学習しているはずだから、間違った答えを出すことはないだろう」と多くの人が考えていることを示している。しかし、実際にはそうではないのである。