ChatGPTには「常識」はあるが「知識」はない
インターネットは20年以上にわたり、検索の時代が続いてきました。Googleの創業は1998年で、筆者も2000年頃からGoogleを使っていた記憶があります。
検索の時代が長らく続いた結果、「何かを出力するウェブサービスは、個別具体の正しい知識を返してくれるのだ」という思い込みをしている人が生まれています。そして、この思い込みがある人は、LLMに検索と同様に知識を尋ねようとするため、LLMをうまく使いこなせないという状態に陥っています。
2023年5月6日の読売新聞オンラインの記事に、「チャットGPTが珍回答、滋賀の三日月知事について『日本の漫画家です』『代表作るろうに剣心』」というニュースが掲載されました。これは滋賀県において、ChatGPT導入のための調査を行った際に滋賀県知事について聞いたところ、ハルシネーションを起こした回答を答えられてしまった、というものです。
これは、ChatGPTを検索と同じように使おうとしたために起こっている問題です。ChatGPTは知識データベースではありません。与えられた文字列から次の文字を予測して出力するAIです。その性質上、「繋がりやすい言葉」を出力するのであって、「事実に基づいた言葉」を出力するわけではありません。ChatGPTにはある種の「常識」はあるが「知識」はないのです。
一般論であれば正確に返してくれる
そのため、ウェブ検索と同じ感覚で個別具体の情報を尋ねると、高確率でハルシネーションが発生します。「滋賀県知事」や「横浜の中華料理屋」などの個別具体の知識は高確率で間違った答えを返します。
一方で、ChatGPTには多くの文章を通じて学んだ「常識」はあるので、抽象度が高い事柄や、一般論であればかなり正確に返してくれます。たとえば「県知事の仕事は何ですか？」や「中華料理屋にどんなメニューがありますか？」といった質問には、「常識」で判断してくれます。
検索エンジンとChatGPTの大きな違いは、「常識の有無」と「個別具体の知識の有無」です。検索エンジンは個別具体のウェブページを返すため、そこから常識を知ろうとしたり、包括するような抽象概念を作ろうとすると骨が折れます。うまく情報が整理されたウェブページがあるとも限りませんし、偏見に満ちた整理の仕方をしたウェブページも多くあるでしょう。一方でChatGPTはこの逆で、個別具体の知識は持っていませんが、数多のウェブページから獲得した常識や抽象概念を持っています。