AIが導き出した「答え」が、どうやって出てきたのか分からない。そんな不安を解消するために登場したのがXAI（説明可能なAI）だ。産業技術総合研究所フェローの辻井潤一さんは「AIと人間がお互いの判断の根拠を吟味しあえるようになれば、AIの性能を上げつつ人間の知見をさらに深められるのではないか」という。『生成AI時代の教養』（風濤社）より、辻井さんのインタビューを紹介する――。（聞き手＝桐原永叔）

※本稿は、桐原永叔・IT批評編集部編著『生成AI時代の教養』（風濤社）の一部を再編集したものです。

人間とロボットのパートナーシップ
写真＝iStock.com／metamorworks
※写真はイメージです
全ての画像を見る（4枚）

「人間はAIを制御できなくなるのではないか」

――XAI（説明可能AI）というコンセプトが出てきたのは、このままAIがブラックボックス化していくことに対して、人間の側に恐怖心があることも理由だと思うのですが。

【辻井】恐怖感や不安はやっぱりあると思います。それはAIに限った話ではなく、非常に複雑なシステムについても同じことが言えます。それが出す結論なり動きが本当にうまくいっているのかどうなのか、われわれがわからない状態になってしまうと制御できなくなるわけです。

震災のときに原発の問題が露呈しましたが、何か予期せぬことが起こったときにどこをどう触ればうまく制御できるのかがわからなくなっている。そういうものの典型としてAIがあることは確かで、このままいくと制御できなくなるのではないかという不安はあるわけです。

ここはAIのほうが得意なので任せましょうと言ったときに、それが出してくる結果を信じられるときにはいいんだけれど、環境が構造的に変わったときにその判断は本当にいいのか悪いのかがわからないという状態が起こると、制御ができなくなるし、環境に合わせてシステムを再調整することも難しくなるという気がするんですね。

新型コロナの変異株に振り回された人類

――現代はAIに限らず、人間の手に負えない事象がたくさん出てきているような気がします。

【辻井】コロナウイルスもそれに近い話ですよね。データはいろいろ揃っていて、いろんな予測はできるんだけど、ウイルス変種が出て内部の機構が変わってしまうと過去のデータは役に立たなくなる。だから、大きなデータで何かを処理していくことの危険性もあるわけです。

データというのはある種の機構を通して出てきていて、僕らが観察できるものになっている。その観察できるデータから内部の計算機構、規則性を推測して知的な判断に使っているわけです。そうすると、データをもともと出している機構そのものが変化すると、本当はそのデータはもう信用できなくなるわけです。

機構そのものが変化したときには判断を変えていかないとダメなわけですが、なぜそのデータが出てくるのかの機構を人間がわかっていないと、データを出してくる背後の機構が変わったときには対処できなくなるわけです。