なぜAIは女性の人事評価を低く見積もってしまうのか ｢悪意あるデータ｣は避けられない

「AI人事」も“バイアス”を学習してしまう

また、機械学習によって開発されるAIが、ある種の「バイアス」を持ってしまう問題も指摘されています。たとえば、会社の人事評価に使われるAIが、女性よりも男性を高く評価してしまうといった問題です。

写真＝iStock.com／Poike

※写真はイメージです

人事評価をするAIの開発に使われるデータは、たいてい「過去の人事評価のデータ」です。もし、過去の人事評価において女性よりも男性に高い評価が与えられる傾向があれば、そのデータを用いて開発されたAIもその傾向を「学習」してしまいます。

機械翻訳システムにおいてもバイアスが見られます。たとえば、日本語の「その医者は自分の子供を診察した」という文では、「医者」および「自分」が男性なのか女性なのかは明確にされていません。

しかしこれをニューラルネットワークを使って開発された機械翻訳システムで英訳したところ、「The doctor examined his child」のように、代名詞が男性形の「his」に訳されたという事例があります。これも、開発時に与えられるデータにおいて、医者が男性である状況を述べた文が多かったためであると考えられます。

このように、機械学習によって開発されるAIの振る舞いや判断は、開発の際に与えられるデータに大きく依存しています。また、これに加えて、今のAIが「開発に使われるデータそのものの正しさを疑うことができない」という点も強調しておくべきでしょう。

悪意ある投稿から「誤学習」する場合も

再び機械翻訳を例に挙げますが、2019年の6月頃、Google翻訳の英語から中国語への翻訳に関して、とある「事件」が報道されました。

「so sad to see hong kong become china（香港が中国の一部になるのはとても悲しい）」という英語文を入力すると、「香港が中国の一部になるのはとても嬉しい」という、まったく逆の意味の中国語文が出てきたというのです。

原因についてはさまざまな憶測が飛び交いましたが、その中に、Googleがユーザからのフィードバックのために設けている「翻訳修正案の投稿欄」に、何者かが上記の正しくない訳文を大量に投稿し、それが翻訳システムの動作に反映された、という説がありました。

このときGoogle翻訳に実際に何が起こったのか、今も明らかになっていません。しかし、もし、悪意あるユーザが故意に正しくない訳文を大量に投稿し、機械翻訳システムがそのデータから「再学習」したことが原因なのだとしたら、それは機械学習を用いて開発される今のAIにとって深刻な問題を提起していることになります。今のAIには、学習用に与えられるデータの間違いを自ら発見し、修正するすべがないからです。