2011年，在佐治亞理工學(xué)院讀本科期間，計(jì)算機(jī)科學(xué)家Joy Buolamwini發(fā)現(xiàn)，她與機(jī)器人一起玩躲貓貓這個(gè)簡單游戲是不可能的，因?yàn)檫@個(gè)機(jī)器人不能識別她黑膚色的臉。2015年，已是麻省理工學(xué)院媒體實(shí)驗(yàn)室碩士生的她也在人臉分析軟件中遇到了類似的問題：只有當(dāng)她帶上一個(gè)白色面具的情況下，系統(tǒng)才能檢測到她的臉。這是巧合嗎？

Buolamwini的好奇心驅(qū)使她在4個(gè)人臉識別軟件中嘗試識別自己的圖像，她發(fā)現(xiàn)，軟件要么完全不能認(rèn)出人臉，要么把她的性別識別錯(cuò)。然后她決定用來自3個(gè)亞洲和3個(gè)歐洲國家的政治家的1270幅人臉圖像進(jìn)行測試，這些人臉圖像具有不同的特征、膚色和年齡。結(jié)果發(fā)現(xiàn)這些人臉識別技術(shù)有幾乎35%的幾率會錯(cuò)誤識別深膚色女性人臉，而對白人男性的識別正確率堪稱完美(99%)。

三個(gè)公司的人臉識別產(chǎn)品對1270幅圖像識別結(jié)果的比較

紐約大學(xué)AI Now研究所的Joy Lisi Rankin說：“計(jì)算機(jī)是由人編程的，而人即使心懷善意，仍然可能會被帶偏并懷有歧視”。

物理學(xué)家正不斷地在各種各樣的領(lǐng)域中運(yùn)用人工智能(AI)和機(jī)器學(xué)習(xí)(ML)。來自費(fèi)米國家加速器實(shí)驗(yàn)室的物理學(xué)家和數(shù)據(jù)分析師Jessica Esquivel說：“作為粒子物理學(xué)家，我們的主要目的是開發(fā)算法和工具，幫助尋找超越標(biāo)準(zhǔn)模型的物理規(guī)律。我們沒有預(yù)見這些算法和工具可能被布署到技術(shù)中，應(yīng)用于日常社會中進(jìn)一步壓迫邊緣人群”。他目前的工作是開發(fā)AI算法以增強(qiáng)μ介子g-2實(shí)驗(yàn)中的粒子束存儲和優(yōu)化。

普林斯頓大學(xué)粒子物理和機(jī)器學(xué)習(xí)研究人員Savannah Thais說：“數(shù)據(jù)缺乏多樣性也影響了開展的研究工作和開發(fā)的系統(tǒng)?！币粋€(gè)例子是亞馬遜實(shí)驗(yàn)性的招聘算法，該算法基于他們過去的招聘實(shí)踐和申請人數(shù)據(jù)。亞馬遜最終放棄了那個(gè)工具，因?yàn)樾詣e偏見從過去的招聘經(jīng)驗(yàn)中太深地嵌入到他們的系統(tǒng)中，傾向于拒絕女性求職者，不能保證公正性。

在物理學(xué)中具有多樣性是極其重要的，Thais目前在歐洲粒子物理研究中心(CERN)為高光度大型強(qiáng)子對撞機(jī)開發(fā)加速機(jī)器學(xué)習(xí)重構(gòu)算法。他說“大部分物理研究者沒有與其他種族、性別和社團(tuán)人群直接生活的經(jīng)驗(yàn)，而他們正是被這些算法影響的人群。”

美國斯坦福大學(xué)人工智能研究人員Pratyusha Kalluri去年在Nature上發(fā)表文章寫道：“是時(shí)候?qū)⒈贿吘壔捅挥绊懙娜巳褐糜贏I研究的中心了——他們的需求、知識和夢想應(yīng)該引導(dǎo)著算法研發(fā)?！?/p>

 物理學(xué)家的作用 

費(fèi)米實(shí)驗(yàn)室的Brian Nord是一名宇宙學(xué)家，利用AI搜索宇宙起源和演化的線索，他解釋到：“望遠(yuǎn)鏡在多年的巡天中掃描天空，采集了包括圖像的大量復(fù)雜數(shù)據(jù)，我們用AI技術(shù)分析數(shù)據(jù)，尋求理解暗能量，其引起了宇宙的加速膨脹。”但是在2016年，他認(rèn)識到AI可能會有偏見。有一款稱為COMPAS的風(fēng)險(xiǎn)評估軟件，它被應(yīng)用于美國法庭上預(yù)測哪些罪犯最有可能再犯罪，由此決定設(shè)置保證金數(shù)目。調(diào)查發(fā)現(xiàn)，不管犯罪的嚴(yán)重性及真正重犯的可能性，黑人比白人以幾乎兩倍高的概率被標(biāo)記為高風(fēng)險(xiǎn)。

Nord組建了一個(gè)物理學(xué)家和計(jì)算機(jī)科學(xué)家聯(lián)盟，致力于在開發(fā)算法時(shí)爭取更多的審查。他警告說：“物理學(xué)家應(yīng)該了解諸如數(shù)據(jù)隱私問題，數(shù)據(jù)和科學(xué)如何被應(yīng)用于侵害公民權(quán)，技術(shù)如何被用于維護(hù)特權(quán)，數(shù)據(jù)驅(qū)動(dòng)的技術(shù)剝奪了人的權(quán)利等問題?！?/p>

為了使這個(gè)問題引起更廣泛的注意，Nord、Esquivel和其他同事寫了一封信給整個(gè)粒子物理社團(tuán)，信中討論了“計(jì)算研究的倫理內(nèi)涵和科學(xué)家的作用”，強(qiáng)調(diào)為何物理學(xué)家應(yīng)該注意他們正在構(gòu)建和實(shí)現(xiàn)的算法。Thais也敦促物理學(xué)家們主動(dòng)地介入到AI倫理中，雖然一般情況下機(jī)器學(xué)習(xí)的物理研究應(yīng)用“不會涉及到倫理問題”，但許多物理學(xué)家之后會進(jìn)入計(jì)算機(jī)軟件、硬件和數(shù)據(jù)科學(xué)公司工作。“很多這樣的公司在使用人類數(shù)據(jù)，因此我們必須讓我們的學(xué)生以負(fù)責(zé)任的方式做那些工作”，她說。

算法決策工具也許是為科學(xué)研究開發(fā)的，但后來被用于商業(yè)監(jiān)控場景，其中任何的數(shù)據(jù)偏差都會有現(xiàn)實(shí)后果

Thais和Esquivel都相信物理學(xué)家在理解和監(jiān)管AI方面可以發(fā)揮重要作用?！懊鎸σ粋€(gè)更像黑盒的機(jī)器學(xué)習(xí)算法，我們真的想了解算法的精確度怎么樣，它如何處理邊緣情況，為何在特定問題上表現(xiàn)最佳。Thais說，“這些是物理學(xué)家以前做過的工作”。

 審計(jì)算法 

2020年英國數(shù)據(jù)倫理和創(chuàng)新中心發(fā)表了一篇關(guān)于算法偏見方面的評論，發(fā)現(xiàn)在過去的幾年中，招聘、金融服務(wù)、警務(wù)和地方政府等部門應(yīng)用算法進(jìn)行決策有明顯的增長，并發(fā)現(xiàn)了算法決策存在偏見。這個(gè)報(bào)告要求各類組織、機(jī)構(gòu)主動(dòng)地利用數(shù)據(jù)來辨識和減輕算法偏見，并了解算法的能力和局限。

數(shù)學(xué)家Cathy O′ Neil 在2018年成立了一家咨詢公司，與其他公司合作并審計(jì)他們的算法。Buolamwini也試圖通過她的非贏利算法正義聯(lián)盟(她于2016年成立的跨學(xué)科研究機(jī)構(gòu))創(chuàng)建更公正和負(fù)責(zé)任的技術(shù)，以了解AI技術(shù)的社會影響。2018年她與計(jì)算機(jī)科學(xué)家Timnit Gebru一起對前述涉及算法偏見公司的后續(xù)研究進(jìn)行重新審計(jì)，并增加了亞馬遜和Kairos兩個(gè)公司。研究發(fā)現(xiàn)亞馬遜的人臉識別軟件居然不能準(zhǔn)確地識別米歇爾·奧巴馬的臉，但之前3個(gè)公司的系統(tǒng)已經(jīng)有很大改觀，說明他們的訓(xùn)練數(shù)據(jù)集已經(jīng)包含了更多樣的圖像。

這兩個(gè)研究具有深遠(yuǎn)的現(xiàn)實(shí)影響，導(dǎo)致了兩項(xiàng)美國聯(lián)邦法案的頒布——算法問責(zé)法案和無生物識別障礙法案，以及紐約州和馬薩諸塞州的州法案。這些研究也幫助說服微軟、IBM和亞馬遜暫停了將他們的人臉識別技術(shù)應(yīng)用于警務(wù)。

2020年計(jì)算機(jī)科學(xué)家Deborah Raji與谷歌的同事一起開發(fā)了一個(gè)為AI追責(zé)進(jìn)行算法審計(jì)的框架。“內(nèi)部審計(jì)是必不可少的，因?yàn)樗稍谝粋€(gè)系統(tǒng)部署到世界各地前對其進(jìn)行修改，審計(jì)在開發(fā)流程中可能引入偏見的那些環(huán)節(jié)是很重要的。”

 消除算法偏見 

2019年AI Now研究所建議研究AI偏見應(yīng)該超越技術(shù)方向。“我們不僅僅需要改變算法或系統(tǒng)，更需要改變研究機(jī)構(gòu)和社會觀念”，Rankin解釋說。她認(rèn)為，為了清除或監(jiān)管算法偏見和歧視，需要“大規(guī)模全體行動(dòng)”。在這個(gè)過程中讓自然科學(xué)界之外的人們參與進(jìn)來會有幫助。

Nord同意物理學(xué)家應(yīng)該與其他學(xué)科的科學(xué)家以及社會學(xué)家、倫理學(xué)者一起工作?！安恍业氖?，我沒看到物理學(xué)家或計(jì)算機(jī)科學(xué)家與花費(fèi)了大量時(shí)間和精力研究這些問題的其他領(lǐng)域研究人員充分合作”，他說到，“看起來每幾周都會有一個(gè)新的有害的機(jī)器學(xué)習(xí)應(yīng)用試圖做有偏見的事情”。例如，德克薩斯大學(xué)奧斯汀分校直到最近才停用了一個(gè)用來預(yù)測研究生是否能成功完成學(xué)業(yè)的機(jī)器學(xué)習(xí)系統(tǒng)，它的數(shù)據(jù)是基于之前的入學(xué)數(shù)據(jù)，可能有偏差?！盀槭裁次覀円诒厝坏囊粋€(gè)人本主義空間中追求這樣的技術(shù)官僚解決方案？”Nord發(fā)問。

Thais堅(jiān)持認(rèn)為物理學(xué)家必須對這些偏見問題的現(xiàn)狀有更好的認(rèn)識，然后了解別人為減輕這些問題采取的努力。“我們必須把這些對話帶入到關(guān)于機(jī)器學(xué)習(xí)和人工智能的所有討論中”，她說。

Nord甚至認(rèn)為，“在問物理學(xué)家他們是否可以之前，應(yīng)該問他們是否應(yīng)該創(chuàng)建或?qū)崿F(xiàn)某種AI技術(shù)”，他同時(shí)補(bǔ)充，停用現(xiàn)存的有傷害的技術(shù)也是可行的?！斑@些技術(shù)的使用是我們作為個(gè)人和作為社會做出的一種選擇?！?/p>