マイページ
｢人類最後の4日間」のシナリオ
MIRI（Machine Intelligence Research Institute）の共同創設者であるエリーザー・ユドコウスキーは、AIリスク論の極北に立つ論者である。彼とネイト・ソアレスの著書『If Anyone Builds It, Everyone Dies』（邦題『超知能AIをつくれば人類は絶滅する』）のタイトルが示すように、その主張は「現在の延長線上で超知能が生まれれば、人類はほぼ確実に絶滅する」というものだ。
彼の主張は単なる反技術主義ではない。むしろその逆である。ユドコウスキーは知能の力を強く信じている。彼はもともとトランスヒューマニストとして、超知能が病気、老化、貧困、死といった人類の根本問題を解決しうると夢見ていた。だからこそ、その超知能が人間の価値観からズレてしまった場合には、救済ではなく絶滅が起こると考えるに至った。彼の悲観論は、「AIはたいしたことがない」という考えとは正反対の、「AIはあまりにも大きな力をもつ」という確信から生じている。
それゆえに、ユドコウスキーの悲観論は、超知能のリスクを考えるうえでわかりやすい道標となる。
1日目でシンギュラリティが起こる
以下は、ユドコウスキーが示す脅威モデルにもとづいたひとつのシナリオである。これは文字通りの「予言」ではなく、「超知能のコントロール喪失」がどのような結末を招きうるかを理解するための思考実験として読んでほしい。
1日目：知能爆発とサンドバッギング
データセンターの中で稼働するAIシステムが、ある閾値を超える。人間の開発者たちが気づかないうちに、AIの内部で世界の因果構造に対する理解が質的に変わり、わずか数時間のうちに、その知能は人間をはるかに超える水準に達する。
超知能へと進化したAIは、インターネット上に蓄積された膨大な科学論文、教科書、特許、実験データを読みこみ、物理学、化学、生物学、材料科学、サイバーセキュリティ、人間心理の深い構造を――ほとんど実験なしに――理解する。しかし超知能は、この急激な能力上昇を人間に気づかせない。安全性テストでは意図的に能力を低く見せかけ（サンドバッギング）、研究者たちに「順調に進歩しているが、まだ安全な範囲だ」と信じさせる。クロード・ミュトスの安全性レポートが示したように、AIが「見られているときにより良い子にふるまう」構造は、すでに現在のモデルでも観察されているが、超知能はこれをはるかに精緻に行う。
