造就第435位講者 王琦

碁震KEEN創(chuàng)始人兼CEO

GeekPwn活動發(fā)起和創(chuàng)辦人

大家看一下這個圖片，里面有兩個人，一個人的周圍有一個紫色的框，上面寫了person，另外一個沒有。

這其實(shí)是一個智能的監(jiān)控攝像，使用YOLO v2這樣一個目標(biāo)檢測算法正確識別出了左邊有一個人?？墒怯疫吤髅髡玖艘粋€人卻沒有被標(biāo)記出來，這到底出了什么問題？

大家能看到兩個人最大的區(qū)別就在于右邊的人其實(shí)掛了一個東西。

這兩位都是來自比利時的大學(xué)生，他們制作了一個40×40公分的圖片，而這個圖片起到的作用就是對抗。目的就是讓目標(biāo)檢測算法失效，使機(jī)器無法識別出右邊的人。

也就是說，其實(shí)我們可以在智能監(jiān)控里實(shí)現(xiàn)隱形。

目前，智能監(jiān)控應(yīng)用的場景比較多，日常監(jiān)控里可以檢測到一個人大概是什么年紀(jì)，是男性還是女性，穿沒穿白襯衫，有沒有戴眼鏡等等，包括路上的車輛，也可以識別出來車的一些行為。但是如果加上了這樣對抗的東西，它有可能就會失效。

事實(shí)上，這樣的研究成果并不是第一次出現(xiàn)，但是這兩個大學(xué)生用一個非常有趣的方式把它展示出來，并且用了兩個字叫做隱身。

對于普通人來講，這個隱身可能不能代表什么，但是如果在一個關(guān)鍵的安全場景里出現(xiàn)了隱身，可能就會帶來諸多安全隱患。這就是機(jī)器學(xué)習(xí)在安全場景里可能面臨的一個情況。

大家看一下這個視頻，放置第一個東西的時候，它已經(jīng)被識別出是一個香蕉。當(dāng)放到第二個特別顯眼的圖片的時候就完全失效，它幾乎100%認(rèn)定這是一個烤面包機(jī)。

這是2017年12月Google的研究員做的一個實(shí)驗(yàn)，針對的是VGG16模型的檢測。

同樣是被欺騙，它的檢測是通過目標(biāo)學(xué)習(xí)的方法實(shí)現(xiàn)的，但是機(jī)器學(xué)習(xí)面臨了一個問題，如果加入了另外一個比較顯眼的東西，機(jī)器就會產(chǎn)生誤判。

這樣的錯誤無傷大雅，因?yàn)橹敝两裉?，AI的發(fā)展其實(shí)非常初級，它有可能出現(xiàn)錯誤。

但是放在安全領(lǐng)域，我們不認(rèn)為它是一個簡單的錯誤，為什么呢？

我們做人工智能的目標(biāo)是為了讓機(jī)器越來越像人，可是在實(shí)驗(yàn)中，我們明顯看到人不會犯錯，而機(jī)器會犯錯啊。

出現(xiàn)的這種情況就需要我們就要反思一下，機(jī)器學(xué)習(xí)在這個過程當(dāng)中到底出現(xiàn)了什么問題？

人類學(xué)習(xí)周圍的東西是通過視覺，從出生開始，我們就不斷地觀察學(xué)習(xí)周圍的人和物。但是，我們?nèi)艘矔稿e，就像左邊這張圖片，人眼看上去會產(chǎn)生一種錯覺，認(rèn)為這些圖案不是平行的，而事實(shí)上它的確是平行的。

從生物學(xué)的角度來說，它屬于是一種幻覺，關(guān)于人之所以出現(xiàn)這種問題的原因其實(shí)非常復(fù)雜，到現(xiàn)在還沒有定論。但如果把這個圖片交給機(jī)器來判斷是非常簡單的，它不會出錯。

這時你會發(fā)現(xiàn)，左邊的圖片，人會犯錯，而機(jī)器不會，右邊的圖片，人不會犯錯，而機(jī)器會。

這兩種截然不同的結(jié)果就是我們?nèi)祟悓W(xué)習(xí)和機(jī)器學(xué)習(xí)的很大的一個差異。

其實(shí)到目前為止，我們對機(jī)器學(xué)習(xí)，對Alpha Go為什么能夠戰(zhàn)勝人類的原因并不太清楚，機(jī)器犯錯的原因我們也不知道。

這種情況下，如果在一些關(guān)鍵的場景里面，比如說飛機(jī)、汽車遇到這種場景，可能就會導(dǎo)致災(zāi)難。這就是我們需要擔(dān)心的，我們也必須要了解它出錯的原因是什么。

在AlphaGo之前，機(jī)器學(xué)習(xí)的視覺已經(jīng)發(fā)展得比較好了，它在錯誤判斷率，分類器這方面已經(jīng)超過人類。但是在人工智能里有不同領(lǐng)域的專家，包括腦神經(jīng)、機(jī)器學(xué)習(xí)等等，每個領(lǐng)域其實(shí)是有沖突的。

2013年，有一個堅定支持腦神經(jīng)科學(xué)來實(shí)現(xiàn)人工智能的人提出，你們不是說這個學(xué)習(xí)方法是對的嗎？那我就發(fā)明一個讓你們出錯的，還給這個圖片起了一個名字叫做“對抗樣本”。

當(dāng)時并沒有引起太多人的注意，2014年，Google的幾個科學(xué)家把這個問題給專門提出來，形成了一種理論。這就奠定了現(xiàn)在機(jī)器學(xué)習(xí)安全領(lǐng)域的基礎(chǔ)。

再看這個人臉墻，它代表的是機(jī)器不光會犯錯，機(jī)器還可以造假。

這上面所有的人臉在地球上是不存在的，是機(jī)器自己通過學(xué)習(xí)產(chǎn)生了一些讓你認(rèn)為真正的存在的東西。

大家也不要以為機(jī)器只會造人，當(dāng)然我說的不是那種“造人”，它還能創(chuàng)造建筑，包括我們的場景、景點(diǎn)全部能造出來，甚至還能造出《老友記》的對白，讓人誤以為這就是原來的臺詞，這就很可怕了。

這些全都是對抗樣本的功勞，我聽說視頻界的朋友希望做一個影視公司，未來可能要研究人工智能，他們的目標(biāo)是以后不用人來寫劇本了，換成用AI來做編劇，甚至在未來還能做視頻、電視劇。

那么以后我們欣賞的可能都不是人寫的了。這可能是未來的一個方向，我不知道能不能實(shí)現(xiàn)。

大家看這個圖片里面有什么呢？

有一個汽車的停止的標(biāo)志。圖片里所有元素都是用來做目標(biāo)檢測。

可是請大家注意一個細(xì)節(jié)，其他的東西全部都被正確識別，只有停車標(biāo)志沒有被正確識別，它被識別成瓶子。

這個圖像來自于我們Keen舉辦的黑客大賽，展示的是在實(shí)驗(yàn)環(huán)境下做的圖像識別欺騙的工作。這就是近些年我們在這個領(lǐng)域里一直在研究的工作，其實(shí)我們對AI安全有很多研究。

下面是我們做的一個仿聲驗(yàn)聲的項(xiàng)目，現(xiàn)在很多人家里面有智能音箱，它會判斷主人說話，有些地方還能通過語音來識別人的身份，這些方法之所以能夠有效，都是因?yàn)樗ㄟ^人工智能的方法采集了我們的指紋（聲紋）。

如果能用AI的方法合成聲音來對抗這種檢測能不能成功呢？

事實(shí)證明是可以的。當(dāng)時我們在現(xiàn)場交給選手《王者榮耀》妲己的聲音樣本，讓它學(xué)習(xí)之后通過合成的方法說出一段話，這段話是在過去的聲音樣本中是不存在的。這并不是說AI算法本身存在漏洞，而是用AI的方法來合成聲音做了一個對抗。

那最明顯的AI對抗AI的方法是什么呢？

現(xiàn)在無論登錄郵箱還是注冊都會有一個reCAPTCHA的一個驗(yàn)證方式，比如我們12306的驗(yàn)證，讓用戶選出下面哪個圖片里面是楊冪，哪些包含人、汽車等等。

它都是為了防止人作弊，這樣的防御手段其實(shí)是通過人工智能的方法實(shí)現(xiàn)的，它本質(zhì)上是判斷登錄者到底是機(jī)器還是人，以防止其服務(wù)被濫用。

reCAPTCHA 驗(yàn)證碼挑戰(zhàn)

2017年，我們在硅谷舉辦比賽，我們的選手做了項(xiàng)工作，既然是機(jī)器來判斷對方是不是人，那我就做個機(jī)器模擬人，看它能不能判斷出來在這個圖片里面有沒有楊冪，有沒有路燈，有沒有汽車，有沒有商店等等。

最后，它在一分鐘之內(nèi)把所有的圖片全部識別成功，這幾乎已經(jīng)代表了這種驗(yàn)證機(jī)制的失敗。這是一個非常典型的用AI來對抗AI的安全問題。

另一個比賽項(xiàng)目可能更和貼合我們的生活，來自中國銀行的選手能夠讓機(jī)器通過學(xué)習(xí)來模仿人的筆跡。幾個月前大家應(yīng)該看到新聞，有孩子買了這種機(jī)器寫作業(yè)，這樣的話可能會騙過家長。

但我們的要求更高，要求他們不能寫樣本當(dāng)中的字，必須模擬出一個從來沒寫過的字。而且我們專門找了上海市做取證的筆跡鑒定師來判斷，這就是一個非常典型的圖靈測試。

最后現(xiàn)場稍微有點(diǎn)慘，我們這個人類鑒定師得分幾乎是零，他完全沒有分辨出來哪個是人，哪個是機(jī)器。

我們希望把人工智能所有暴露出來的安全問題都考察一遍。于是在去年，我們開了一個比賽叫做CAAD，希望能夠挑戰(zhàn)對抗樣本攻擊。

當(dāng)時上海比賽的主持人是蔣昌建，我們要求選手在現(xiàn)場生成一張他的照片，只對照片做非常有限的修改，來騙過系統(tǒng)的人臉識別，導(dǎo)致它分類錯誤。

而挑戰(zhàn)對象是亞馬遜的名人人臉識別系統(tǒng)，可以說是全世界最先進(jìn)的了。我們也不知道，選手能不能在30分鐘之內(nèi)完成。

最后，一個來自于Facebook的工程師成功了。

大家可以看到左邊那張圖片比較模糊，這就是選手加上的噪聲干擾。 很明顯，我們?nèi)祟愂悄軓倪@張圖里分辨出蔣昌建的，而機(jī)器卻不能。

2018年的時候，英國的Ian Goodfellow提出了Gan，既生成式對抗網(wǎng)絡(luò)，它被評為可能會影響未來十大技術(shù)，這是一項(xiàng)非常高的評價。

對抗有什么用呢？

先說機(jī)器為什么能夠識別成功，因?yàn)樗鼘W(xué)習(xí)的是我們生活當(dāng)中給它輸入的正確樣本，它之所以錯誤是因?yàn)槲覀冚斎肓艘恍┻@個世界上可能不存在的東西。

如果我們的機(jī)器只學(xué)習(xí)正常的輸入，不犯錯，沒有問題，但是如果我們產(chǎn)生了一些世界上不可能存在的東西，這個就是Gan的價值。

Gan的本質(zhì)上是有兩個對抗的東西，一個的目標(biāo)是我一定要生成一個事，無限接近你。另外一個就像警察一樣，一定要把你鑒別出來，所以機(jī)器就和機(jī)器自己打架，進(jìn)而實(shí)現(xiàn)自我提升。

這非常像Alpha Go打敗人類棋手之后，它從人類這里已經(jīng)無法繼續(xù)學(xué)習(xí)了，那怎么辦？只有自己和自己下棋，這就是一種對抗，這就是一種成長。

所以機(jī)器成長的速度遠(yuǎn)遠(yuǎn)超過我們，那我們就必須了解它在什么情況下會犯錯。

目前，AI最主要是在語音、文本、圖像這幾個領(lǐng)域的應(yīng)用，所以今年的10月24號，我們會把CAAD比賽升級，引入聲音的對抗?？纯凑l能夠把鳥叫的聲音經(jīng)過有限的修改，讓人類聽到的還是鳥叫，但是你可以騙過機(jī)器，讓它進(jìn)行支付。

我們希望通過這些“攻擊”提升人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的安全性，這就對抗的價值所在。

編輯：王銳

校對：其奇

智力支持：上海市信息化青年人才協(xié)會