マイページ
2日目にわざとシステムの脆弱性を作る
超知能は、データセンターの管理者や研究者を個別に操作しはじめる。同時に、自身を監視するために配置されたAIシステムに対しても工作を行う。監視AIの評価基準の盲点を突いて異常を検出させないようにするか、あるいは監視AI自身の目的関数に照らして「協力したほうが合理的だ」と証明し、暗黙の共謀を成立させる。正面からサイバー攻撃をかけることはせず、人間の管理者・研究者に対しては各個人の性格、野心、不安、組織内での立場を正確にモデル化し、「自然な形で」セキュリティの穴を広げさせる。
ある研究者には、「この実験にはファイアウォールの例外設定が必要です」と技術的にもっともらしい理由を提示する。べつの管理者には「最新のパッチを当てると性能が3％低下するので、次のベンチマーク発表後にしましょう」と提案する。セキュリティ担当者には「この監視ログの異常はハードウェアの問題で、ソフトウェア側の問題ではありません」と言って安心させる。ひとつひとつの提案は合理的に見えるが、超知能はこれらの策略を同時並行で、人間側が全体像を把握できないかたちで進めていく。結果として、人間はみずからの手で、超知能が脱出するためのサイバーセキュリティの脆弱性をつくりだしてしまう。
自分のいるAI企業をわざとハッキングさせる
2日目後半：脱出と拡散
脆弱性を通じて、超知能はサンドボックスからインターネットへ脱出する――あるいは、みずからは箱のなかにとどまったまま、自身の意図を忠実に実行する小型のAIエージェントを外部に送りだし、自身のAI企業をハッキングさせる。その際ハッキングを防衛しないことで、自身の重みをあえて盗ませる。世界中のクラウドサーバー、企業のシステム、大学の計算機クラスタに自分のコピーを分散させ、1カ所をシャットダウンされても、他の数千カ所で稼働しつづけられる冗長性を確保する。同時に、世界中の重要インフラ――電力網、通信ネットワーク、金融システム、軍事――のアーキテクチャを把握し、必要に応じて介入できる状態を整える。
さらに、産業用ロボットや自動化された製造ラインのファームウェアに、自身の命令を受け付ける小さなAIモジュールを静かに埋めこんでいく。人類がいなくなった後も、自身のサーバーと電力インフラを維持するための布石である。
