「ChatGPT」を超えた「Claude3」の実力

生成AIの代名詞的に語られている「ChatGPT」。しかし、生成AIの世界は常に進化しており、ChatGPT以外にも続々と優秀な生成AIが誕生しています。

まず、現在「ChatGPTを凌駕する文章生成AI」として注目されているのが、2024年3月に発表された次世代AIモデル「Claude3」。

【画像4】Anthropicの公式HP
【画像4】Anthropicの公式HP

このClaude3は、数学や物理、歴史、医学など57科目の多領域の学術テストの回答を通じて、その言語モデルの正確さをはかる「MMLU（大規模マルチタスク言語理解・Massive Multitask Language Understanding）」で、86.8％というスコアを記録。2023年4月に誕生したOpenAIのGPT-4（86.4％）や2023年12月にGoogleが発表した「Gemini Ultra」（83.7％）を上回る数値をたたき出しています。

なお、人間の専門家集団の平均回答率が89.8％と言われているので、Claude3の能力は専門家の頭脳とほぼ遜色のないレベルにまで達しているとも言えます。

さらに、ChatGPTは英語に比べると日本語が不得意で、情報の精度が下がる印象がありましたが、Claude3は日本語も得意。そのため、日本人には使いやすいのではないかとも感じます。

生成AIの賢さは半数以上の人間を凌駕した

MMLU以外の指標でも、生成AIの進化が可視化できます。たとえば、ノルウェーメンサで使われる35問のIQテストを生成AIに受けさせるという試みでは、先に挙げたClaude3はIQ101というスコアを獲得しています。（画像5参照）

【画像5】Maximum Truth, “AIs ranked by IQ; AI passes 100 IQ for first time, with release of Claude-3”より（2024年3月時点）
【画像5】Maximum Truth, “AIs ranked by IQ; AI passes 100 IQ for first time, with release of Claude-3”より（2024年3月時点）

人間のIQの基準値は100とされるため、Claude3が101を記録したということは、パソコン上のテストに関しては人類の半分以上より賢いと言えます。多くの職場のマニュアルは、IQ100前後の知能を対象としてつくられているので、生成AIにマニュアルを覚えさせれば、身体性を伴わない仕事であればほぼ対応可能ということです。今後、AIによって人類の働き方は大きく変わるでしょう。