｢AIの暴走で人類絶滅｣より現実的…AI研究の第一人者が危惧する｢学習データは秘密｣という大問題 AIが｢偏見｣を持ち､あなたを｢過小評価｣する可能性

AIを安全に利用するために、人間の価値観や目標に合わせる「アライメント」が必要となる。AI研究の第一人者イーサン・モリック氏は「アライメントが行われないとAIが暴走して人類滅亡の脅威となると懸念する人がいるが、ほかにも潜在的な倫理的懸念がある」という――。（前編／全2回）

※本稿は、イーサン・モリック著／久保田敦子訳『これからのAI、正しい付き合い方と使い方』（KADOKAWA）の一部を再編集したものです。

写真＝iStock.com／imaginima

※写真はイメージです

アライメントの問題や、AIが確実に（人間の利益を損なうのではなく）人間に役立つようにする方法を理解するために、まずは起こり得る最悪の事態について考えることから始めよう。そうすれば、そこから遡って検討することができる。

AIがもたらし得る最悪の危険の核には、AIが人間の倫理観や道徳観を必ずしも共有しているわけではないという厳然たる事実が横たわっている。このことを示す最も有名なたとえ話は、哲学者のニック・ボストロムが提唱したペーパークリップを作り続けるAIだ。

オリジナルの概念に多少の変更を加え、できるだけ多くのペーパークリップを製造するという単純な目標を与えられたペーパークリップ工場のAIシステムを想像してみてほしい。

このAIは、人間と同等の賢さや能力、創造性、柔軟性を持つ、いわゆる汎用人工知能（AGI）と呼ばれるものとなる最初の機械である。フィクションの世界で言うと、スタートレックのデータや映画『her／世界でひとつの彼女』のサマンサのような、まるで人間のようなレベルの知性を持つ機械だ。

このレベルのAGIに到達することが、多くのAI研究者の長年の目標だが、それがいつ可能となるのか、そもそもそれが可能なのかは不明だ。

ともかく、このペーパークリップAI――クリッピーと呼ぼう――がこのレベルの知性を獲得したと仮定しよう。

クリッピーは依然として、できるだけ多くのペーパークリップを製造することを目標としている。そこで、どうすればより多くのペーパークリップを製造できるか、そしてどうすれば強制終了されること（これはペーパークリップの製造に直接的な影響を及ぼす）を回避できるかについて全力で考える。

そして、自身が充分に賢くないことに気付き、その問題を解決するための探究を開始する。AIがどのように機能するのかを学び、人間のふりをして専門家の助けを借りる。正体を隠して株式市場で取引をし、お金を稼いで知能をさらに増強するプロセスを開始する。