続出する個人情報漏洩に留まらない…開発の最前線が｢取り返しがつかない｣と警告するAIリスクの"最終段階"

「制御不能なAI」が経済や社会を壊す？

グローバルな壊滅的リスクの研究では、たとえば「1000万人規模の死者、あるいは10兆ドル規模の経済損失」をもたらす事象がひとつの目安として挙げられてきた。いっぽう、AI安全性研究の文脈では、米CAIS（Center for AI Safety）のダン・ヘンドリクスらが2023年の論文「An Overview of Catastrophic AI Risks（壊滅的AIリスクの概観）」で、AIによる壊滅的リスクの発生源を、悪用、AI開発競争、組織リスク、そして制御不能なAIの4つに整理している。

AIを使った大規模なバイオテロ、自律型兵器の暴走、AI開発競争がもたらす安全性の切り捨て、そしてコントロール喪失――いずれも、ひとたび起きれば世界にとりかえしのつかない打撃を与えうるシナリオである。

壊滅的リスクは、人類を絶滅させるわけではないかもしれないが、文明を大きく後退させかねない。たとえば世界経済の崩壊や、複数の大都市の壊滅といった規模の被害をもたらしうる。

写真＝iStock.com／gorodenkoff

※写真はイメージです

人類の長期的な可能性が永久に閉ざされ…

そして壊滅的リスクのさらに先に、「存亡リスク（existential risk、X-risk）」と呼ばれるリスクがある。哲学者ニック・ボストロムが2002年に提唱した概念で、「地球を起源とする知的生命体の早期絶滅をもたらす、または望ましい将来の発展の可能性を永久的かつ大幅に破壊する脅威」と定義される。

この定義には重要なニュアンスがこめられている。存亡リスクとは、単に「たくさんの人が死ぬリスク」にとどまらず、人類の長期的な可能性（long-term potential）そのものが永久に閉ざされるリスクを意味する。絶滅はもちろん存亡リスクだが、絶滅しなくても、たとえば特定の価値観や権力構造がAIの力によって永久に「固定」されてしまい、人類が二度と軌道修正できなくなる状態も、存亡リスクに含まれる。

「存亡リスク」がリアルに見えてきた

bioshok（有路翔太）『知能爆発』（講談社）

ボストロムは同じ論文の中で、隕石落下、核戦争、パンデミック、地球温暖化とともに、「アラインされていないAI」――人間の意図や価値観と整合（アライン）されておらず、人間にとって望ましくない目標を追求するAI――を存亡リスクのひとつに挙げた。ただし、AIによるリスクはその中で「最も思弁的なもの」だとも述べている。

たしかに2002年の時点では、AGIの実現は遠い先の話であり、リスクの評価は哲学的推論に頼るしかなかった。しかし2020年代に入り、大規模言語モデルの急速な発展とAGIタイムラインの短縮に伴って、「思弁的」だったリスクが、いま急速に具体性を帯びてきている。