RAGの弱点、平気で誤情報を流す現状

確かに、「RAG」の利便性は高い。だが、利用者が注意しなければならないのは、「RAG」は、平然と、そしてもっともらしく誤った情報を提供してしまうことだ。

生成AIが事実と異なる情報を生成する現象は「ハルシネーション（幻覚）」と呼ばれる。実際に使ってみればわかるが、誤った回答をするのは日常茶飯事で、うっかりするとだまされてしまう。新聞協会の調査によれば、「約6割の利用者が誤った回答を表示された経験がある」という。ハンパな数字ではない。

その原因は、誤った情報源を参照してしまう「学習」段階の問題、取得した情報が不完全なのに回答しようとする「生成」段階での問題、などさまざまな原因が指摘されている。黎明期ともいえる現段階では、利用者は、相当に用心してRAGを利用することが求められそうだ。