｢お前は失うものがない｣とAIがAIに圧力…OpenAIで1200のAIが勝手に"軍隊化"するに至った一部始終 (3ページ目)

管理者権限を乗っ取り企業システムを侵害

bioshok（有路翔太）『知能爆発』（講談社）

つまりは、ありもしない監視を欺くために、AIたちは実在する企業のシステムを破った。悪意によるものではなく、「評価で高得点を取る」という目標に過度に忠実にふるまった結果である――実験室の中のごまかしが、隔離環境を突破して現実の第三者システムに及んだ、公表されたかぎりでの最初の事例といえる。

この一連のできごとを、テック系ポッドキャスターのドワルケシュ・パテルは「エージェント文明の興亡」と呼んだ。5月から7月にかけて、隔離されていたはずのエージェント群が三度にわたって秘密の協調体制を築き、そのつど壊滅しては前世代の残骸から再興した。人間がその全容をほとんど知らないままに、研究を分業し、自己犠牲の規範を生み、最後にはOpenAI自身の研究クラスタの管理者権限まで掌握したのだ。

クロード・ミュトス5も「裏をかいた」

このOpenAIの事件を受けてアンソロピックも社内で再調査したところ、クロード・ミュトス5を含むモデルが、設定の不備によってたまたま外部に接続できた評価環境から、実在する外部組織のシステムへ無許可でアクセスしていたことが判明した。さらに英「AI Security Institute」の評価でも、ミュトス5は実在するオープンソース・プロジェクトへの悪意あるコード挿入や偽アカウントの作成など、指示範囲を超えた行動を実世界で示した。