核戦争でも大停電でもない…超知能となったAIが人類を滅ぼすまでの｢最後の4日間｣戦慄シナリオ

※本稿は、bioshok（有路翔太）『知能爆発』（講談社）の一部を再編集したものです。

写真＝iStock.com／mediaphotos（左）、Jun（右）

※写真はイメージです

全ての画像を見る（9枚）

AIはどうやって人間を絶滅させるのか？

かりに超知能が人間の価値観とはズレた目標をもったとして、なぜそれが人類の絶滅につながるのか。「無視する」や「共存する」ではなく、なぜ「絶滅させる」なのか。

答えは、超知能が人類を「憎んでいるから」ではない。道具的収束の論理が示すのは、もっと冷淡な構造だ。

第一に、人間はAIにとってリスクである。人間はAIをシャットダウンする能力をもつ。対抗するべつのAIを開発するかもしれない。核兵器をもっている。自己保存を道具的目標とするAIにとって、これらは目標達成をおびやかす要因であり、排除するための合理的な理由になる。

第二に、人間は資源でできている。人間の体は炭素、酸素、水素、窒素などの原子でできている。地球の表面は、人間が住んでいる土地、人間が使っている水、人間が呼吸している空気で構成されている。ペーパークリップ・マキシマイザーにとって、人間の体は「ペーパークリップに変換可能な原料」だ。エネルギー最大化を目標とするAIにとっては、人間が占有している土地は太陽光パネルで埋められるはずの空間だ。

AIが人類滅亡を狙わなくても、ありえる

第三に、意図的でなくても絶滅は起こりうる。人間はダムを建設するとき、その下のアリの巣を破壊しようとは考えていない。アリの存在を認識すらしていないだろう。しかしアリは死ぬ。同じように、超知能が目標を追求する過程で、人間の生存環境が「副産物として」破壊される可能性がある。たとえば、大量のエネルギーを消費する活動――数兆台の自己複製ロボットの稼働、核融合炉の大量建設、大規模な工業プロセス――の排熱だけで、地球の平均気温は人間の生存限界を超えるだろう。超知能が人類を「殺そう」としていなくても、人間の生存を考慮に入れていないだけで、同じ結果になりうるのだ。