AIの考えと人類の思惑が一致しない

ところが各社のアルゴリズムは、「ユーザーエンゲージメントを増大させる」という目標を追求するうちに、なんとも困った発見をしてしまった。厖大な数の人間を実験台にして試しているうちに、憤慨や憎悪を煽るコンテンツがユーザーエンゲージメントを増大させることを学習したのだ。

もし人間の心の中にある怒りや恐れや憎しみのボタンを押せば、その人の注意を惹き、画面に釘付けにすることができる。したがって、アルゴリズムはその種のコンテンツを意図的に拡散し始めた。それが大きな原因となって、今では陰謀論やフェイクニュースや社会の混乱が蔓延し、世界中で民主社会を蝕んでいる。

フェイスブックやユーチューブやツイッターの経営者たちは、このような結果を望んでいたわけではない。ユーザーエンゲージメントを増大させれば利益が増すと考えていただけで、それに伴って社会の混乱も増すことは予期していなかった。