「超知能AI」はいずれ必ず現れる
短期的に起こることは、正確に予測できない。まだそれほど賢くないAIが経済全体に浸透していく過程では、とても奇妙なことも起こるだろう。経路の予測は難しい。
だが終着点は予測できる。
知性にはじつに多くの使い道がある。後で説明するように、知性があれば強力な技術を創造できる。高い知性を獲得することは、ほぼどんな目標の達成にとってもきわめて有効な戦略なのだ。大まかに言えば、AIの性能向上がAI企業の利益に直結する理由はここにある。AI企業は当然それを知っている。AI企業が今後も開発に邁進する限り、超知能AIは何らかの方法で必ず創造される。
AIが訓練されて超知能になるかもしれない。多くのAIがAI研究に貢献し、まったく新しいパラダイムを用いて超知能AIを構築するかもしれない。自己改善のタスクを課されたAIが、自身の知能を高めて超知能になるかもしれない。もっと異様な経路をたどるかもしれない。どんな経路をたどるかはわからない。だが現代のAI開発の行き着く先は、奇妙で異質な選好を持つ機械超知能の創造である。
チェスと同じように人類は敗北する
そしていつか地球の全資源を独自の奇妙な目標のために転用することを望む機械超知能が現れるだろう。そしてそれはお気に入りのものたちで人間を置き換えることを望むだろう。次は、それが「可能かどうか」を考えよう。
たとえ機械超知能が限られた資源から始めたとしても、人類との戦いに勝利できることを、私たちはかなり強く、いや非常に強く確信している。
具体的にどうやって? それはわからない。チェスAIのストックフィッシュが具体的にどんな手を使うのかがわからないのと同じだ。それでも、ストックフィッシュが人間を完膚なきまでに打ちのめすことは確信できる。
同じ理屈で、もし1825年の軍官がタイムポータルを通って2025年に行けたとしても、2025年の兵士がどんな武器を持っているかを正確に言い当てることはできないだろう。だが実際に戦うことになったら、勝利を期待すべきではない。

