オープンAIによると、SimpleQAは正確だが範囲は限定的だという。測定できるのは事実を求める短い質問のみで、検証可能な正解が一つしかない場合に限られる。
「事実に基づく短い答えを出せる能力と、数多くの事実を盛り込んだ長文の回答を書く能力の間に相関関係があるかどうかは、まだ未解決の研究課題だ」とオープンAIは説明している。
ただしOumiの検証では、正しいことが証明できる質問でさえも、グーグル検索の「AIによる概要」で正しい答えが出せない場合があることが分かった。レポートでは、明らかに事実と違っていた複数の事例を挙げている。
ここから先は無料会員限定です。
無料会員登録で今すぐ全文が読めます。
プレジデントオンライン無料会員の4つの特典
- 30秒で世の中の話題と動きがチェックできる限定メルマガ配信
- 約5万本の無料会員記事が閲覧可能
- 記事を印刷して資料やアーカイブとして利用可能
- 記事をブックマーク可能
当記事は「ニューズウィーク日本版」(CCCメディアハウス)からの転載記事です。元記事はこちら


