9割が｢家庭教師よりChatGPTのほうが優秀｣と回答…そんな時代にしば犬AI｢大ちゃん｣が示したAI学習の深刻な問題 ハルシネーションという大問題の克服は喫緊の課題だ

ChatGPTはなぜ間違う？

ChatGPTは、数学の公式の適用や論理を間違える。なぜなのだろうか？　その原因として一般的にいわれているのは、「確率的判断で出力を生成しているから」ということだ。この説明は間違いではないが、不十分なものだ。

これを理解するには、大規模言語モデル（LLM）がどのように言葉や概念を理解し、どのように出力を作っているかに関する理解が必要である（＊）。

＊これについての詳しい説明は、『生成AI革命』第6章を参照。

LLMは、「エンコーダー」と「デコーダー」から成る。エンコーダーは大量の文献を学習し、様々な言葉や概念をベクトルで表し、言葉の意味を、他の言葉との関係で理解する。そして、デコーダーが利用者の質問や要求に応じて答えを作成する。その際、エンコーダーが作ったデータを用いて、ある言葉のつぎに来る言葉の確率を計算している。

写真＝iStock.com／GOCMEN

※写真はイメージです

大規模言語モデルは「正しく理解」しているわけではない…

数学の問題についていえば、学習データの中には、数学の問題やその解答も多数含まれている。

エンコーダーは、これらによって、単語や数字、数式などの関係を学習する。それによって、ある種のルールを導き出しているのだ。そうして得た学習結果を用いて、デコーダーが、ある言葉や数字の後に来る言葉や数字を予測している。

この過程においてLLMが分析しているのは、あくまでも言葉と言葉の間の関係だ。数学の法則や論理法則を（人間と同じように）理解しているわけではない。その意味で、正しく理解していない。

そのため、数学や形式論理学などの法則の適用で、誤ることがあるのだと考えられる。