上圖呈現(xiàn)的是NLP中對(duì)抗樣本有兩種概念。這些結(jié)果是使用TextAttack在LSTM上對(duì)“爛番茄電影評(píng)論”的情感分類數(shù)據(jù)集進(jìn)行了訓(xùn)練。這些都是是'真實(shí)的'使用DeepWordBug和TextFooler攻擊生成的對(duì)抗示例。如果您想自己生成它們，在安裝TextAttack之后，運(yùn)行textattack attack — model lstm-mr — num-examples 1 — recipe RECIPE — num-examples-offset 19’，其中RECIPE是'deepwordbug'或'textfooler'。 [作者提供的圖片] 本文就如何將對(duì)抗樣本運(yùn)用于NLP（自然語言處理）進(jìn)行介紹。鑒于專業(yè)術(shù)語可能會(huì)比較讓人困惑，我們決定先從對(duì)抗樣本和對(duì)抗性語言的攻擊的概述開始介紹。然后，我們將討論TextAttack，我們的開源Python庫NLP中的對(duì)抗樣本，其中的數(shù)據(jù)的擴(kuò)充以及對(duì)抗性訓(xùn)練是如何改變了人們研究NLP模型魯棒性的方式。最后我們也將涵蓋一些我們對(duì)于這個(gè)領(lǐng)域的前景的看法。 術(shù)語解釋對(duì)抗樣本是設(shè)計(jì)用來愚弄機(jī)器學(xué)習(xí)模型的輸入樣本[1]。良性輸入樣本的更改構(gòu)建對(duì)抗樣本稱為對(duì)抗擾動(dòng)。“對(duì)抗擾動(dòng)”比“對(duì)抗樣本”更具體，因?yàn)樗袑?duì)抗樣本的類別還包括從零開始設(shè)計(jì)的愚弄機(jī)器學(xué)習(xí)模型的輸入樣本。文本攻擊會(huì)產(chǎn)生一種特定類型的對(duì)抗樣本，即對(duì)抗擾動(dòng)。 對(duì)機(jī)器學(xué)習(xí)模型的對(duì)抗性攻擊是產(chǎn)生對(duì)抗擾動(dòng)的過程。文本攻擊在一個(gè)數(shù)據(jù)集（模型的輸入列表）中迭代，對(duì)于每個(gè)正確預(yù)測(cè)的樣本，搜索一個(gè)對(duì)抗性的擾動(dòng)。如果一個(gè)樣本在開始時(shí)被錯(cuò)誤地預(yù)測(cè)，它不會(huì)被攻擊，因?yàn)樗呀?jīng)愚弄了模型。文本攻擊將攻擊過程分為多個(gè)階段，并提供一個(gè)可互換的組件系統(tǒng)來管理攻擊的每個(gè)階段。 對(duì)抗的穩(wěn)健性是衡量模型對(duì)對(duì)抗樣本敏感度的度量。文本攻擊通常使用攻擊成功率、產(chǎn)生成功的對(duì)抗樣本的攻擊嘗試的百分比，或攻擊后的準(zhǔn)確度，以及正確分類和未成功攻擊的輸入百分比來衡量魯棒性。 為了提高我們討論對(duì)抗性攻擊的計(jì)算能力，讓我們看一個(gè)具體的例子： 這些結(jié)果來自于使用文本攻擊對(duì)一個(gè)在Tomatoes電影評(píng)論情感分類數(shù)據(jù)集上訓(xùn)練的LSTM運(yùn)行DeepWordBug攻擊，總共使用了200個(gè)示例。[圖片歸作者所有] 這次在200個(gè)樣本上進(jìn)行攻擊。在這200個(gè)樣本中，模型最初預(yù)測(cè)了43個(gè)錯(cuò)誤，這導(dǎo)致了157/200或78.5%的準(zhǔn)確率。文本攻擊對(duì)其余157個(gè)樣本運(yùn)行對(duì)抗性攻擊過程，以嘗試為每個(gè)樣本找到有效的對(duì)抗性擾動(dòng)。在157次攻擊中，有29次失敗，成功率為128/157，占81.5%。另一種闡明這一點(diǎn)的方法是，該模型正確地預(yù)測(cè)了原始樣本，然后在200個(gè)樣本中抵御了對(duì)手攻擊，導(dǎo)致攻擊下的準(zhǔn)確率（或“攻擊后準(zhǔn)確度”）為29/200或14.5%。 文本攻擊還記錄了其他一些有用的統(tǒng)計(jì)信息。在這157次成功的攻擊中，平均15.5%的單詞被改變而改變了預(yù)測(cè)，平均進(jìn)行了32.7次查詢以找到成功的擾動(dòng)。在所有200個(gè)輸入樣本中，平均單詞數(shù)為18.97。現(xiàn)在，我們已經(jīng)提供了一些術(shù)語，讓我們看一些對(duì)抗性攻擊的具體示例。我們將介紹一些其他領(lǐng)域的對(duì)抗性攻擊的背景知識(shí)，然后給出NLP中不同攻擊的例子。 對(duì)抗樣本根據(jù)2013的研究表明，神經(jīng)網(wǎng)絡(luò)對(duì)于對(duì)抗樣本而言非常的脆弱。最初的對(duì)抗攻擊是對(duì)一張圖進(jìn)行了細(xì)微的，精心設(shè)計(jì)的干擾，用于欺騙一個(gè)圖像分類器。在這次實(shí)驗(yàn)中，這個(gè)圖像分類器首先是準(zhǔn)確地預(yù)判出了原始圖像里是一只豬，但是經(jīng)過了細(xì)微干擾后，分類器居然把這只豬的圖像給判斷成了一架飛機(jī)，并且對(duì)于這次的結(jié)果非常的自信。 一個(gè)針對(duì)于ImageNet分類器的對(duì)抗樣本。疊加了少量（但精心選擇）的干擾便導(dǎo)致這個(gè)模型把豬分類成了飛機(jī)（這個(gè)對(duì)抗樣本的圖像來源于Aleksander M?dry的小組） 這些對(duì)抗樣本呈現(xiàn)出了關(guān)于深度神經(jīng)網(wǎng)絡(luò)的一個(gè)重大缺陷，導(dǎo)致了所有包含神經(jīng)網(wǎng)絡(luò)的下游系統(tǒng)都面臨這由對(duì)抗樣本所帶來的安全問題，其中也包括文字轉(zhuǎn)語音系統(tǒng)和汽車的自動(dòng)駕駛系統(tǒng)。拋開安全層面來講，對(duì)抗樣本還是很有用的：研究員們?cè)\(yùn)用對(duì)抗樣本來提升和分析深度學(xué)習(xí)模型。 如你所想，深度神經(jīng)網(wǎng)絡(luò)領(lǐng)域中的對(duì)抗樣本已經(jīng)引起了全世界許多研究人員的注意。2013年的發(fā)現(xiàn)也促進(jìn)了對(duì)該主題的大量研究。
這是 2014-2020期間在arxiv.org上與對(duì)抗樣本相關(guān)的論文的數(shù)量。 （圖來自https://nicholas./writing/2019/all-adversarial-example-papers.html） 雖然許多新穎，更加復(fù)雜的對(duì)抗樣本，以及與之相對(duì)的防御系統(tǒng)和為了訓(xùn)練神經(jīng)網(wǎng)絡(luò)來抵御（魯棒）對(duì)抗攻擊的進(jìn)程應(yīng)運(yùn)而生，但訓(xùn)練高度準(zhǔn)確的深度神經(jīng)網(wǎng)絡(luò)，同時(shí)保持強(qiáng)大的對(duì)抗性攻擊能力仍然是一個(gè)未解決的問題。 許多人自然地想知道NLP模型的對(duì)抗樣本是什么，對(duì)于NLP而言，并不存在計(jì)算機(jī)視覺中的對(duì)抗樣本中的自然比擬（如上述的豬變成飛機(jī)）。在上述案例中，輸入的豬的圖像分類及其飛機(jī)分類的圖像干擾實(shí)際上是用肉眼無法區(qū)分的。與圖像不同，輸入的文本序列不可能完全相同，從而不能做到真正的“無法區(qū)分”。 NLP中的對(duì)抗樣本 由于兩個(gè)文本序列是不可分的，研究者們?yōu)镹LP中的對(duì)抗樣本提出了各種替代定義。我們發(fā)現(xiàn)，根據(jù)他們所選擇的對(duì)抗樣本的定義對(duì)對(duì)抗性攻擊進(jìn)行分組是很有用的。 雖然NLP中的攻擊不能找到一個(gè)與原始輸入嚴(yán)格不可分的對(duì)抗擾動(dòng)，但他們可以找到一個(gè)非常相似的擾動(dòng)?；谶@些模型對(duì) '相似性'理解的不同，我們的將NLP對(duì)抗攻擊分為兩類:
NLP中的對(duì)抗樣本，基于兩種不同的文本相似性理解：視覺相似性和語義相似性. [圖源自作者原文] 視覺相似性. 一種NLP攻擊認(rèn)為對(duì)抗樣本是一個(gè)看起來與原始輸入非常相似的文本序列——也許只差幾個(gè)字符的變化——但可以讓模型得到不同的預(yù)測(cè)。其中一些對(duì)抗性攻擊試圖盡可能少地改變?cè)斎氲淖址M量改變模型的預(yù)測(cè)；另一些則試圖引入類似于與人們現(xiàn)實(shí)中也會(huì)寫的'錯(cuò)別字'。
一些學(xué)者擔(dān)憂到：這些攻擊可以被很好地防住，既可以使用基于規(guī)則的拼寫檢查器，也可以使用經(jīng)過訓(xùn)練的seq2seq模型來糾正對(duì)抗錯(cuò)別字。 語義相似性。另一種對(duì)NLP攻擊的理解是，如果一個(gè)對(duì)抗樣本與原始輸入在語義上無法區(qū)分，那么它就是有效的。換句話說，如果擾動(dòng)是對(duì)原始輸入的重述，且原輸入和擾動(dòng)會(huì)得出不同預(yù)測(cè)結(jié)果，那這樣的輸入就是有效的對(duì)抗樣本. 某些NLP模型本就使用語義相似性來引導(dǎo)訓(xùn)練?；谡Z義相似性概念的對(duì)抗攻擊通常會(huì)同時(shí)使用另一個(gè)NLP模型來保證要求擾動(dòng)的語法合法性，并且與原輸入在語義上相似. 屬于這一類TextAttack攻擊有：alzantot、bae、bert-attack、fast-alzantot、iga、kuleshov、pso、pwws、textbugger*、textfooler *TextBugger攻擊混合使用類似錯(cuò)字修改和同義替換的方法產(chǎn)生擾動(dòng)。可以認(rèn)為它兩都算.
用TextAttack生成對(duì)抗樣本兩種不可分的對(duì)抗攻擊TextAttack都支持, 它們對(duì)于訓(xùn)練更健壯的 NLP 模型都有用。我們的目標(biāo)是通過提供一組直觀的、可重用的組件，從文本中構(gòu)建盡可能多的樣本，以深入對(duì)NLP中對(duì)抗樣本的研究. 我們使用四個(gè)組件來構(gòu)建對(duì)抗攻擊過程：目標(biāo)函數(shù)、約束、轉(zhuǎn)換和搜索方法。(這些將在未來的文章中詳細(xì)介紹！)這些組件讓我們?cè)诓煌恼撐拈g保持一個(gè)統(tǒng)一的圖式, 也讓我們很容易開發(fā)NLP數(shù)據(jù)增強(qiáng)方法. TextAttack還包括加載流行的NLP數(shù)據(jù)集和在其上訓(xùn)練模型的代碼。通過這些帶有對(duì)抗攻擊和數(shù)據(jù)增強(qiáng)技術(shù)的訓(xùn)練代碼，TextAttack為研究人員提供了一個(gè)在不同場(chǎng)景下測(cè)試對(duì)抗訓(xùn)練的環(huán)境. 下圖顯示了TextAttack的主要功能概述:
TextAttack的功能概述[圖自作者原文]
NLP中的對(duì)抗性攻擊的前景我們很高興看到TextAttack對(duì)NLP研究界的影響! 希望看到的一件事就是將學(xué)者們能將各種論文組合在一起。TextAttack可以很容易地進(jìn)行缺件研究，以比較在不做任何其他改變的情況下，將論文A中的搜索方法與論文B中的搜索方法交換的效果。(而且這些測(cè)試可以在幾十個(gè)預(yù)先訓(xùn)練好的模型和數(shù)據(jù)集上運(yùn)行而無需下載！） 我們希望TextAttack的使用能使對(duì)抗性攻擊更加多樣化。目前所有的對(duì)抗性攻擊都有一個(gè)共同點(diǎn)，那就是它們都在單詞或字符層面進(jìn)行替換。我們希望未來NLP中的對(duì)抗式攻擊能夠擴(kuò)大范圍，嘗試不同的方法來進(jìn)行短語級(jí)別的替換以及全句轉(zhuǎn)述。此外，在對(duì)抗攻擊文獻(xiàn)中，一直專注于英語；我們期待看到對(duì)抗攻擊使用更多語言. 如果你對(duì)TextAttack感興趣，或者對(duì)為NLP模型生成對(duì)抗樣本這一普遍的問題感興趣，請(qǐng)與我們聯(lián)系。你可以看看我們?cè)?/span>ArXiv上的論文或者Github上的倉(cāng)庫.
|
|
|
