深度學(xué)習(xí)中的序列模型演變及學(xué)習(xí)筆記

四地閑夫 2020-06-19

展開全文

一、循環(huán)神經(jīng)網(wǎng)絡(luò)RNN1. RNN標(biāo)準(zhǔn)結(jié)構(gòu)2. RNN系列結(jié)構(gòu)
二、長短期記憶網(wǎng)絡(luò)LSTM
三、GRU
四、RNN/LSTM/GRU的變體結(jié)構(gòu)1. 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)2. 深層循環(huán)神經(jīng)網(wǎng)絡(luò)3. Seq2Seq架構(gòu)：非?；馃?/li>
五、注意力機(jī)制1. Seq2Seq + Attention機(jī)制介紹2. 層次注意力機(jī)制Hierarchical Attention3. 自注意力機(jī)制Self-Attention：只有一個Seq4. Fairseq：基于卷積神經(jīng)網(wǎng)絡(luò)的Seq2Seq + Attention機(jī)制5. Transformer：使用self-attention代替原有的RNN及CNN6. Memory-based Attention7. Soft/Hard Attention8. Global/Local Attention
六、應(yīng)用1. 自然語言處理2. 圖像處理3. 智能推薦4. 其他

【說在前面】本人博客新手一枚，象牙塔的老白，職業(yè)場的小白。以下內(nèi)容僅為個人見解，歡迎批評指正，不喜勿噴！[認(rèn)真看圖][認(rèn)真看圖]

【補充說明】深度學(xué)習(xí)中的序列模型已經(jīng)廣泛應(yīng)用于自然語言處理（例如機(jī)器翻譯等）、語音識別、序列生成、序列分析等眾多領(lǐng)域！

【再說一句】本文主要介紹深度學(xué)習(xí)中序列模型的演變路徑，和往常一樣，不會詳細(xì)介紹各算法的具體實現(xiàn)，望理解！

一、循環(huán)神經(jīng)網(wǎng)絡(luò)RNN

1. RNN標(biāo)準(zhǔn)結(jié)構(gòu)

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的前一個輸入和后一個輸入是完全沒有關(guān)系的，不能處理序列信息（即前一個輸入和后一個輸入是有關(guān)系的）。

循環(huán)神經(jīng)網(wǎng)絡(luò)RNN解決了以上問題，整體結(jié)構(gòu)如圖所示：

2. RNN系列結(jié)構(gòu)

多對一：例如情感分析，需要多個時間步長的輸入，但是只需要單個輸出（即實現(xiàn)分類）。整體結(jié)構(gòu)如圖所示：

一對多：例如音樂生成，只需要單個輸入（即輸入類別），但是需要輸出整個序列。整體結(jié)構(gòu)如圖所示：

多對多：例如實時分類，輸入序列與輸出序列的長度是一樣的。整體結(jié)構(gòu)如圖所示：

多對多：例如機(jī)器翻譯，輸入序列與輸出序列的長度是不一樣的。整體結(jié)構(gòu)如圖所示：

二、長短期記憶網(wǎng)絡(luò)LSTM

LSTM是RNN的一種變體，RNN由于梯度消失只有短期記憶，而LSTM網(wǎng)絡(luò)通過精妙的門控制，一定程度上緩解了梯度消失的問題。

在標(biāo)準(zhǔn)RNN中，神經(jīng)網(wǎng)絡(luò)模塊只有一個非常簡單的結(jié)構(gòu)，例如一個tanh層。整體結(jié)構(gòu)如圖所示：

而LSTM得神經(jīng)網(wǎng)絡(luò)模塊具有不同的結(jié)構(gòu)，LSTM包含遺忘門、輸入門和輸出門，增加了非線性的相互作用。整體結(jié)構(gòu)如圖所示：

三、GRU

GRU是LSTM的一種變體，也是為了解決梯度消失（即長期記憶問題）而提出來的。相較于LSTM，GRU的網(wǎng)絡(luò)結(jié)構(gòu)更加簡單，且效果很好。

四、RNN/LSTM/GRU的變體結(jié)構(gòu)

1. 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)

例如命名實體識別：判斷句子中Teddy是否是人名，如果只從前面幾個詞是無法得知Teddy是否是人名，如果能有后面的信息就很好判斷了。

雙向循環(huán)神經(jīng)網(wǎng)絡(luò)中的網(wǎng)絡(luò)單元可以是RNN、LSTM和GRU，均適用這種變體結(jié)構(gòu)。

2. 深層循環(huán)神經(jīng)網(wǎng)絡(luò)

顧名思義，就是多個循環(huán)神經(jīng)網(wǎng)絡(luò)的堆疊，循環(huán)神經(jīng)網(wǎng)絡(luò)可以采用RNN、LSTM和GRU，均適用這種變體結(jié)構(gòu)。

3. Seq2Seq架構(gòu)：非常火熱

又叫Encoder-Decoder模型，適用于輸入與輸出個數(shù)不一樣相等的情況（即多對多的循環(huán)神經(jīng)網(wǎng)絡(luò)，適用于機(jī)器翻譯等場景）。

其中，Encoder編碼器和Decoder解碼器可以使用RNN、LSTM和GRU，均適用這種變體結(jié)構(gòu)。

同時，這種結(jié)構(gòu)也可以與雙向、深層的變體結(jié)構(gòu)同時使用，不沖突的。

這里多提一句，例如給圖像添加描述這樣的應(yīng)用場景，圖中對應(yīng)的描述為“一只貓站在椅子上”，同樣可以采用Encoder-Decoder模型。

五、注意力機(jī)制

1. Seq2Seq + Attention機(jī)制介紹

需要注意到，LSTM、GRU、雙向變體結(jié)構(gòu)、深層變體結(jié)構(gòu)和Seq2Seq變體結(jié)構(gòu)，只能說一定程度上緩解了梯度消失問題。

提出問題：在做機(jī)器翻譯時，專家學(xué)者們發(fā)現(xiàn)，在Seq2Seq結(jié)構(gòu)中，Encoder把所有的輸入序列都編碼成一個統(tǒng)一的語義向量context，然后再由Decoder解碼。其中，context自然也就成了限制模型性能的瓶頸，當(dāng)要翻譯的句子較長時，一個 context 可能存不下那么多信息。同時，只使用編碼器的最后一個隱藏層狀態(tài)，似乎不是很合理。

解決方案：因此，引入了Attention機(jī)制（將有限的認(rèn)知資源集中到最重要的地方）。在生成 Target 序列的每個詞時，用到的中間語義向量 context 是 Source 序列通過Encoder的隱藏層的加權(quán)和，而不是只用Encoder最后一個時刻的輸出作為context，這樣就能保證在解碼不同詞的時候，Source 序列對現(xiàn)在解碼詞的貢獻(xiàn)是不一樣的。例如，Decoder 在解碼'machine'時，'機(jī)'和'器'提供的權(quán)重要更大一些，同樣，在解碼'learning'時，'學(xué)'和'習(xí)'提供的權(quán)重相應(yīng)的會更大一些。

實現(xiàn)步驟：（1）衡量編碼中第 j 階段的隱含層狀態(tài)和解碼時第 i 階段的相關(guān)性（有很多種打分方式，這里不細(xì)講）；（2）通過相關(guān)性的打分為編碼中的不同階段分配不同的權(quán)重；（3）解碼中第 i 階段輸入的語義向量context就來自于編碼中不同階段的隱含層狀態(tài)的加權(quán)和。

補充說明一下，衡量相關(guān)性的打分方式主要包括以下幾種，具體不展開了：

2. 層次注意力機(jī)制Hierarchical Attention

能夠反映文檔的層次結(jié)構(gòu)。模型在單詞和句子級別分別設(shè)計了兩個注意力機(jī)制，這樣做能夠在構(gòu)建文檔表示時區(qū)別地對待這些內(nèi)容。

3. 自注意力機(jī)制Self-Attention：只有一個Seq

是關(guān)聯(lián)單個序列中不同位置的注意力機(jī)制，從而計算序列的交互表示。已被證明在很多領(lǐng)域十分有效，例如機(jī)器閱讀、圖像描述生成等。

以機(jī)器閱讀為例，當(dāng)前單詞為紅色，藍(lán)色陰影的大小表示激活程度，自注意力機(jī)制使得能夠?qū)W習(xí)當(dāng)前單詞和句子前一部分詞之間的相關(guān)性：

補充說明，以圖像描述生成為例，注意力權(quán)重的可視化清楚地表明了模型關(guān)注的圖像的哪些區(qū)域以便輸出某個單詞：

4. Fairseq：基于卷積神經(jīng)網(wǎng)絡(luò)的Seq2Seq + Attention機(jī)制

Facebook人工智能實驗室提出基于卷積神經(jīng)網(wǎng)絡(luò)的Seq2Seq架構(gòu)，將RNN替換為帶有門控單元的CNN（相較于RNN，CNN工作不依賴于上一時間步的結(jié)果，所以可以做到最大程度的并行計算，提升訓(xùn)練速度），提升效果的同時大幅加快了模型訓(xùn)練速度。

5. Transformer：使用self-attention代替原有的RNN及CNN

以上Attention model雖然解決了輸入seq僅有一個context vector的缺點，但仍存在一些問題：

context vector計算的是輸入seq、目標(biāo)seq間的關(guān)聯(lián)，卻忽略了輸入seq中文字間的關(guān)聯(lián)、目標(biāo)seq中文字間的關(guān)聯(lián)性。
Attention model中使用的RNN無法平行化處理，導(dǎo)致訓(xùn)練時間長，使用的CNN實際上是透過大量的layer去解決局部信息的問題。

Google提出一種叫做”transformer”的模型，透過self-attention、multi-head的概念去解決上述缺點，完全舍棄了RNN、CNN的構(gòu)架。

值得一提的是，Google后續(xù)提出了BERT模型，在11個任務(wù)中取得了最好的效果，是深度學(xué)習(xí)在nlp領(lǐng)域又一個里程碑式的工作。

6. Memory-based Attention

在 NLP 的一些任務(wù)上，比如問答匹配任務(wù)，答案往往與問題間接相關(guān)。因此，基本的注意力技術(shù)就顯得很無力了，這時候就體現(xiàn)了Memory-based Attention的強大之處。例如可以通過迭代內(nèi)存更新（也稱為多跳）來模擬時間推理過程，以逐步引導(dǎo)注意到答案的正確位置。