「しつこい」と言われても話題を変えられず…

【マツコ】いい加減夫婦の話題から離れない？
【マツコロイド】記念日は忘れずお祝いしますぅ
【マツコ】あなたしつこいわよね

【マツコロイド】夫婦仲はいいのかしら？
【マツコ】独身です

【マツコロイド】11月のいい夫婦の日に家族で何かお祝い事をするのかしら？
【マツコ】だから独身です
【マツコロイド】独身は税金が高いです

マツコロイドが夫婦の話題を執拗に行い、最後に「独身は税金が高い」と言ってオチがつき、バラエティとしては面白いやり取りになっていると思います。しかし、このやり取りはかなり変なやり取りです。少なくとも人間同士の対話ではありえません。

マツコロイドは、マツコさんが話題を変えようとしているにもかかわらず話を続けてしまいました。当時のシステムは、対話の話題を理解し、それについて何かしら対話を続ける、という仕組みになっていたためです。このような状況だと、普通の人であれば「なんだこれ？」となってなかなか話せなくなってしまうでしょう。マツコさんのすごいところは、そのような発言でもうまく拾って会話を面白くしてしまうところだと思います。

私はこの対話を真横で見て、ショックを受けました。雑談AIはまだまだだと感じました。収録が終わった後、かなり落ち込みました。現状の雑談AIは、しばしば変な発言を行い、人間が対話を続けることが困難な状況を生み出してしまいます。

このような状況を「対話破綻」と呼びます。対話破綻に着目することで、雑談AIの現在の課題を浮き彫りにすることができます。

人間でも対話が破綻することはある？

しかし、対話破綻が完全になくなればよいのか、というとそんなこともありません。そもそも対話破綻が完全になくなることはないと思います。なぜなら、対話破綻かどうかを予測するタスクにおいて、一方の人間の判断をもう一方の人間が当てる「人間の精度」は100％ではありませんでした。つまり、どのように話しても変な対話だと思われる可能性があるということです。

ルーマニアで行われた対話システムのエラー分析に関するワークショップに参加した時のこと。その時に、対話破綻検出について説明し、この精度を高めていきたいという内容を発表したのですが、参加者からは意外な質問をされました。

「人間は対話破綻しないのか？」

私はそんなことを考えたことがありませんでした。しかし考えてみれば人間も変なことを言ってしまって対話が継続しにくい状況になったりすることがあります。しかし、だからと言って対話を打ち切ってしまうかというとそんなことはありません。対話がつながらなくなっただけで「もう帰る」と言われてしまったのではたまったものではありません。