人権の侵害や差別につながりかねない
データを読み込む機械学習などAI（人工知能）技術の進化がビジネス領域だけではなく、採用や昇進など人事分野にも及んでいる。その一方でAIの予測が人権の侵害や差別につながりかねない事態も発生している。
その典型事例は、2018年10月に発生したアマゾンのAI採用打ち切りのニュースだろう（「焦点：アマゾンがAI採用打ち切り、『女性差別』の欠陥露呈で」ロイター、2018年10月10日）。記事によるとAIを活用した人材採用システムに「女性を差別する機械学習の欠陥」が判明した。その原因として、過去10年間の履歴書のパターンをAIに学習させた結果、ソフト開発など技術関係の職種採用ではシステムに性別の中立性が働かない事実が発見されたという。
事例として、履歴書に「女性チェス部の部長」、あるいは「女子大卒」とあれば評価が下がる傾向が出たという。それはなぜか。AIや機械学習は過去の膨大なデータを読み込み、予測する能力には秀でている。しかし、機械学習に使用するアルゴリズム（手順や計算方法）が古い価値観に基づいた過去のデータを読み込んで予測した結果、バイアス（偏り）が入り、今の価値観と異なる間違った答えを出す可能性があるからだ。
明確に不合格者を決めてほしい人事部
女性の採用差別につながるケースは日本でも起こり得る。とくに新卒採用では母集団形成のために数万単位のエントリーシート（ES）を集め、最終的に数百人に絞り込むという労力のかかる作業が必要になる。AIを使って、欲しい人材を効率的に選びたいと考えても不思議ではない。HRテック企業のZENKIGENの野澤比日樹CEOとシングラーの熊谷豪CEOの2人が対談でこんなことを語っている（「AIで採用・不採用の判断をすべきでない！ HRテックCEOが警鐘を鳴らす採用DX」ITmediaビジネスオンライン、2021年8月4日）。
【野澤】クライアントの方から、「もっと採用不採用が簡単に分かるようにしてくれ」と言われたりしませんか？
【熊谷】言われますね。「適性検査みたいに、明確に不合格者を決めてほしい」という人事のニーズは間違いなくあるでしょう。ビジネス提供側として、どこまで顧客のニーズに応えるか、判断は難しいところ。
やはりAI活用による合否予測を求めている人事が多いようだ。そのうえで熊谷氏はこう語っている。
「ただ、一つ思うのは『不合格者を決めることはできるけれど、判断基準が過去のデータで本当に大丈夫か？』ということ。例えば、よく適性検査に出てくるコミュニケーション力にしても、実は、1970年代ごろの研究をもとに作られたりしています。当時求められていたコミュニケーション力と、これから求められるものは全く異なるはず。AIを用いて自動的に得られる結果は、過去の最適解であっても、未来の最適解とは限らないんです」
ここでも過去データのアルゴリズムによる予測結果に疑問を呈している。
