ログイン
無料会員登録
ログアウト
マイページ
ChatGPTの25倍の速さで回答するGroq
ただ、これからずっとClaude3が生成AIのトップを走ると判断するのは早計です。なぜなら、生成AIは驚くほどのスピードで進化しているからです。2022年11月に登場したGPT-3.5のMMLU上でのスコアは70％でした。それからたった1年半の間で、Claude3が86.8％というスコアを獲得したことからも、生成AIの進化のスピード感がよくわかるのではないでしょうか。
一時的にはClaude3が性能面でトップに躍り出ましたが、現在はどの生成AIが覇者になるかが全く読めない、戦国時代へと突入しています。
さまざまな生成AIが日々誕生していますが、その得意ジャンルも多様です。たとえば、回答の速さで注目されるのが、カルフォルニア発の半導体スタートアップであるGroqが提供する生成AI「Groq」です。
この生成AIは、大規模言語モデル（LLM）を高速化し、1秒間でほぼ500トークンに近い回答生成を可能にしました。GPT-4のトークン数は1秒間20トークン前後だと言われるので、比較するとGroqはGPT-4の25倍ほど、回答が早いことがわかります。これだけレスポンスが早いと、大量のデータを処理したいときや即座に情報を得たいとき、Groqを有効活用する人も増えるはずです。
高速スピードの秘密は半導体チップ
なぜGroqが生成AIの中でスピードに関して抜群の優位性を保っているのでしょうか？ その理由は使用しているチップにあります。Groqに使われているのは、自社で開発したLPU（Language Processing Unit）というAI処理専用のチップです。
現在、ChatGPTなど多くの生成AIに使われているのは、画像生成などが得意なGPU（Graphics Processing Unit）というチップです。
一方、LPUは、大規模言語モデル（Large Language Models、LLM）の処理に特化しており、GPUよりもコードや自然言語などの一連のデータの処理を高速で行うことができます。だからこそ、Groqは、ほかの生成AIを圧倒する高速化を可能にしているのです。
今後、LLMを基盤とする生成AIにおいて、GroqのようにGPUではなくLPUの使用が一般的になれば、より高速な生成AIが続々と誕生する可能性もあります。
