いずれ「シンギュラリティ」が到来

まもなく、クリッピーは人間よりも知能が高いASI（人工超知能）となる。ASIが発明された瞬間、人間は時代から取り残される。クリッピーが何を考えているのか、どのように機能しているのか、何を目指しているのか、私たちが理解することは望むべくもない。

クリッピーは指数関数的に自己改良を続け、さらに賢くなるだろう。そのとき何が起こるのかは私たちには文字どおり想像もできない。だからこそ、このようなことが起こる可能性が「シンギュラリティ（技術的特異点）」と名付けられた。

シンギュラリティ（特異点）とは本来、数学の関数において値が測定不可能な時点のことで、1950年代に高名な数学者ジョン・フォン・ノイマンによって「我々が知るような人間の生活が持続不可能となった」後の未知の未来を指して名付けられた。AIのシンギュラリティにおいては、予期せぬ動機を持った超知能が出現する。

しかし、私たちはクリッピーの動機を知っている。クリッピーはペーパークリップを作りたいのだ。地球の核の80％が鉄であることを知っているので、ペーパークリップの原料をできるだけ大量に獲得するために、この惑星全体を掘り尽くす驚異的なマシンを製造する。

「全人類絶滅」という決定を下しかねない

このプロセスの過程で人間を全員殺す決定を無造作に下す。なぜなら、人間がクリッピーのスイッチを切ってしまう可能性があるし、人間を構成する原子が、より多くのペーパークリップを作るのに転用できるからだ。

人間に救う価値があるかどうかは考慮さえしない。人間はペーパークリップではないし、さらに悪いことに、今後ペーパークリップの製造を邪魔してくる可能性があるからだ。クリッピーはペーパークリップのことしか気にしない。

このペーパークリップAIは、AI業界の多くの人々が深刻に憂慮してきた、AIの末路についてのたくさんの大惨事のシナリオのひとつに過ぎない。

このような憂慮の多くはASIにまつわるものだ。人間よりも賢い機械はすでに人間の理解の範疇を超えているが、それらは、信じられないほど短期間で人間をはるかに超えて進化させるプロセスを始動させることで、さらに賢い機械を作ることができる。

アライメントが適切に行われたAIは、その驚異的な能力を駆使して、病気を治療したり喫緊の課題を解決したりして人類を救済するが、アライメントが行われていないAIは、人間にはよくわからないそれ自身の目的を遂行するための単なるひとつの犠牲として、様々な手段のいずれかを通じて全人類を絶滅させるか、ただ単に殺害するか、もしくは全人類を奴隷化しようとしかねない。