包括谷歌、微軟和亞馬遜在內的科技公司的物體識別算法，在識別低收入國家的物品時，錯誤率更高，算法表現(xiàn)得也更差。

這是Facebook人工智能實驗室的一項新研究。同時，該研究還表明，人工智能偏見不僅存在于國家內部，還歧視不同國家。

在低收入家庭中，算法的準確率最低可達20％

在這項研究中，研究人員測試了五種已有的流行的物體識別算法 - Microsoft Azure，Clarifai，Google Cloud Vision，Amazon Rekognition和IBM Watson--以了解每個算法程序識別從全球數據集中收集的家庭日用品的效果。

該家庭日用品的數據集包括117個類別，從鞋子到肥皂到沙發(fā)幾乎所有物品以及不同層次的家庭收入和地理位置，從布隆迪的一個每月收入27美元的家庭到烏克蘭的一個每月收入10,090美元的家庭。

研究人員發(fā)現(xiàn)，物體識別算法在被要求識別月收入50美元的家庭物品時比物品價值超過3,500美元的家庭誤差大約增加10％。準確度的絕對差異甚至更大：與索馬里和布基納法索的物品相比，算法在識別美國家庭物品時的效果提高了15％至20％。

這些發(fā)現(xiàn)被認為“在一系列用于圖像識別的商業(yè)云服務中是一致的”。

這種偏見的產生有許多根本原因，也是AI中眾所周知的問題。其中最常見的原因是用于創(chuàng)建算法的訓練數據通常反映了負責這一算法的工程師的生活和背景。由于這些人通常是來自高收入國家的白人，他們開發(fā)的程序也是在這樣的環(huán)境下訓練出來的。

人工智能偏見的最著名的例子之一是面部識別算法，在識別女性面部特別是“有色人種”女性時，這些算法通常表現(xiàn)更差。這種偏見可以進入各種系統(tǒng)，從用于計算假釋刑期的算法到在求職面試之前的簡歷評估。

在物體識別算法的情況下，研究者認為，有一些可能導致錯誤的原因：首先，用于創(chuàng)建系統(tǒng)的訓練數據在地理上受到限制，其次，他們無法識別文化差異。

寫視覺算法訓練的數據主要來自歐洲和北美，并且“在人口眾多的地理區(qū)域中嚴重欠采樣視覺場景，特別是在非洲，印度，中國和東南亞?！?/p>

偏差可能由多個因素引起，包括不完整的訓練數據

同樣，大多數圖像數據集使用英語名詞作為初始語言并相應地收集數據。這意味著物品的類別可能不夠完整，或者同一個物品在不同的國家或地區(qū)看起來并不相同。例如，洗碗皂。在一些國家這些香皂就是肥皂，而在另一個國家是盛在容器里的液體。同樣的，婚禮，在美國和印度看起來也大不相同。

為什么弄清楚這點很重要？

首先，這意味著使用這些算法創(chuàng)建的任何系統(tǒng)對來自低收入和非西方國家的人來說都會表現(xiàn)更差。由于美國科技公司是人工智能的全球領導者，這可能會影響從照片存儲服務和圖像搜索功能到更重要的系統(tǒng)，比如自動安全攝像頭和自動駕駛汽車。

但這可能只是冰山一角。視覺算法相對容易評估這些偏差，但是創(chuàng)建這些程序的管道也為整個行業(yè)提供了充分的算法，而這些算法永遠不會受到同樣的審查。

“審計AI系統(tǒng)并不一定容易，因為沒有執(zhí)行此類審計的標準基準，”幫助開展此項研究的Facebook AI的研究科學家Laurens van der Maaten告訴The Verge。 “在打擊這種偏見方面，最重要的一步是在設置用于訓練系統(tǒng)的訓練數據的收集過程時更加謹慎?！?/p>

硅谷經常推廣其產品，特別是近年來它的人工智能產品。作為平等主義者，所有人都可以使用。 這樣的研究表明，科技公司繼續(xù)以它們自己的形象和理解去評估，定義和塑造世界。

作者：James Vincent

譯自：THE VERGE

圖源：THE VERGE