嘘を自信満々に出力する現象に要注意

この仕組みを理解すると、生成AIの弱点も見えてきます。

生成AIは自然に聞こえる答えを作るのが得意なのですが、それと正しいことは別です。そして、自然に聞こえることを優先してしまうために起きるのが、AIがもっともらしい嘘を自信満々に出力する現象です。これをハルシネーションと呼びます。

実際にAIを使ってみると、内容は間違っているのに、あたかも正解であるかのように読みやすい滑らかな文章を出力することがあります。ですから、AIを使うときは「言い方がそれらしいのだから正しいのだろう」と判断せず、必ずAIが嘘をついていないか確かめることが必要です。