磐創(chuàng)AI（ID：xunixs），AI研習(xí)社經(jīng)授權(quán)轉(zhuǎn)載。歡迎關(guān)注磐創(chuàng)AI微信公眾號及AI研習(xí)社博客專欄。

目錄：

• 循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用
  

• 文本分類

• 序列標(biāo)注

• 機(jī)器翻譯

• Attention-based model
  

• RNN系列總結(jié)

• 循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用

目前循環(huán)神經(jīng)網(wǎng)絡(luò)已經(jīng)被應(yīng)用在了很多領(lǐng)域，諸如語音識別（ASR）、語音合成（TTS）、聊天機(jī)器人、機(jī)器翻譯等，近兩年在自然語言處理的分詞、詞性標(biāo)注等工作的研究中，也不乏循環(huán)神經(jīng)網(wǎng)絡(luò)的身影。在本節(jié)中，我們將介紹幾個較為典型的循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用，以此來了解循環(huán)神經(jīng)網(wǎng)絡(luò)是如何與我們實(shí)際的應(yīng)用場景所結(jié)合。

根據(jù)應(yīng)用場景和需求的不同，我們大致可以將循環(huán)神經(jīng)網(wǎng)絡(luò)的任務(wù)分為兩類：一類是序列到類別的模式，另一類是序列到序列的模式。其中，序列到序列的問題又可以進(jìn)一步的劃分為：“同步的序列到序列的模式”和“異步的序列到序列的模式”。接下來我們會通過三個案例來進(jìn)一步的了解這三種模式。

文本分類

文本分類目前是自然語言處理（Natural LanguageProcessing，NLP）領(lǐng)域中最常見的問題之一，例如做垃圾郵件檢測、用戶評論的情感極性分析等。序列到類別的模式適用于文本分類問題，在文本分類問題中，我們輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)中的是一段文本，長度為n，神經(jīng)網(wǎng)絡(luò)的輸出只有一個類別，長度為1。

假設(shè)我們要實(shí)現(xiàn)一個外賣行業(yè)的用戶評論的情感極性分類，如圖1所示，我們輸入到神經(jīng)網(wǎng)絡(luò)中的是一段用戶對外賣商品的評論。

圖1 實(shí)現(xiàn)文本分類的循環(huán)神經(jīng)網(wǎng)絡(luò)示意圖

循環(huán)神經(jīng)網(wǎng)絡(luò)在每一個“時間步”都有一個輸出，但對于一個簡單的分類問題，我們不需要這么多的輸出，一個常用且簡單的處理方式是只保留最后一個“時間步”的輸出，如圖2所示：

圖2 “序列到類別模式”的循環(huán)神經(jīng)網(wǎng)絡(luò)示意圖

序列標(biāo)注

分詞是自然語言處理中最基礎(chǔ)也是最重要的一個環(huán)節(jié)，隨著深度學(xué)習(xí)的發(fā)展，不少人開始嘗試將深度學(xué)習(xí)應(yīng)用到這一領(lǐng)域，近兩年里也取得了一定的成果。雖然目前在分詞、詞性標(biāo)注等任務(wù)中普遍使用的還是CRF、HMM等傳統(tǒng)算法，但是深度學(xué)習(xí)所取得的成果已經(jīng)被越來越多的人所認(rèn)可，并且不斷地在自然語言處理的任務(wù)中嶄露頭角。

不管是使用傳統(tǒng)的CRF算法還是使用循環(huán)神經(jīng)網(wǎng)絡(luò)來訓(xùn)練分詞模型，我們都需要先對訓(xùn)練數(shù)據(jù)進(jìn)行標(biāo)注。以4-tag字標(biāo)注法為例，假設(shè)我們有一段訓(xùn)練樣本“北京市是中國的首都”，標(biāo)注后的數(shù)據(jù)形式如下：

在4-tag字標(biāo)注法中，有四個標(biāo)簽，分別是：B、M、E和S。其中B代表這個字是一個詞的首字，M代表這個字是一個詞的中間部分（一個詞如果由多個字組成，除了首尾，中間的字都標(biāo)為M），E代表這個字是一個詞的最后一個字，而S代表這是一個單字，不構(gòu)成詞。在類似分詞這種序列標(biāo)注的問題中，每一個“時間步”都對應(yīng)一個輸入和輸出。對于這種問題，我們采用“同步的序列到序列的模式”，如圖3所示：

圖3 “同步的序列到序列模式”的循環(huán)神經(jīng)網(wǎng)絡(luò)示意圖

機(jī)器翻譯

用于機(jī)器翻譯的循環(huán)神經(jīng)網(wǎng)絡(luò)是一種“異步的序列到序列模式”的網(wǎng)絡(luò)結(jié)構(gòu)，同樣是序列到序列的模式，與適用于序列標(biāo)注的“同步的序列到序列模式”的不同之處在于，“異步的序列到序列模式”的循環(huán)神經(jīng)網(wǎng)絡(luò)對于輸入和輸出的序列長度沒有限制。在序列標(biāo)注問題中，每一個“時間步”都有一個輸入和一個對應(yīng)的輸出，因此輸入和輸出的序列長度相同，然而在機(jī)器翻譯問題中，我們輸入的序列長度和輸出的序列長度不一定等長。

“異步的序列到序列模式”的循環(huán)神經(jīng)網(wǎng)絡(luò)就是我們常說的Sequenceto Sequence model，又稱為編碼器-解碼器（Encoder-Decoder）模型。之所以稱之為編碼器-解碼器模型，是因?yàn)槲覀儗⒕W(wǎng)絡(luò)分成了兩部分：編碼器部分和解碼器部分。如圖4所示，編碼器模型對輸入的序列數(shù)據(jù)進(jìn)行編碼，得到中間向量：

圖4 編碼器部分示意圖

最簡單的編碼方式是直接把網(wǎng)絡(luò)最后一個時刻的狀態(tài)賦值給，也可以使用一個函數(shù)來做變換，函數(shù)接收的參數(shù)可以是，也可以是從到的所有中間狀態(tài)。在得到中間向量之后，接下來要做的就是解碼。一種常用的解碼方式如圖5（左）所示，模型在解碼過程中將編碼得到的向量作為解碼器的初始狀態(tài)，并將每一個時間步的輸出作為下一個時間步的輸入，直至解碼完成?！癊OS”是輸入和輸出序列結(jié)束的標(biāo)志。圖5右側(cè)所示的是另一種解碼的方式，該方式將編碼得到的向量作為解碼器模型每一個“時間步”的輸入。

更具體的Sequence to Sequence模型，可以閱讀Bengio等人在2014年發(fā)表的論文[1]，以及Google在2014年的一篇論文[2]。

圖5 兩種不同的解碼器模型示意圖

• Attention-based model

雖然采用編碼器-解碼器 (Encoder-Decoder) 結(jié)構(gòu)的模型在機(jī)器翻譯、語音識別以及文本摘要等諸多應(yīng)用中均取得了非常不錯的效果，但同時也存在著不足之處。編碼器將輸入的序列編碼成了一個固定長度的向量，再由解碼器將其解碼得到輸出序列，這個固定長度的向量所具有的表征能力是有限的，然而解碼器又受限于這個固定長度的向量。因此，當(dāng)輸入序列較長時，編碼器很難將所有的重要信息都編碼到這個定長的向量中，從而使得模型的效果大打折扣。

為了解決這一問題，我們引入了注意力機(jī)制（Attention），這種引入了Attention機(jī)制的神經(jīng)網(wǎng)絡(luò)模型又稱為Attention-based model。本節(jié)我們要介紹的Soft Attention Model是一種最為常見，使用也較多的注意力模型。為了解決傳統(tǒng)的Encoder-Decoder模型中單個定長的編碼向量無法保留較長的輸入序列中的所有有用信息的問題，Attention-based model引入多個編碼向量，在解碼器中一個輸出對應(yīng)一個編碼向量，如圖6所示。

圖6 沒有Attention機(jī)制的Encoder-Decoder模型示意圖

圖7 Attention-based model示意圖

圖8 Attention計算過程示意圖

我們以第一個編碼向量的計算為例，首先用解碼器的初始狀態(tài)分別和編碼器中每個時間步的輸出計算相似度，得到輸出，再通過一個softmax運(yùn)算將轉(zhuǎn)換成概率值，最后由公式計算得到編碼向量。接下來再利用解碼器中神經(jīng)網(wǎng)絡(luò)的輸出計算編碼向量，以此類推，直到解碼過程結(jié)束。

以上就是傳統(tǒng)的Soft Attention Model，除此之外還有一些其它形式的Attention-based model，有適用于自然語言處理領(lǐng)域的，也有適用于圖像領(lǐng)域的。Google在2017年發(fā)表的一篇論文《Attention is All You Need》[3]，試圖擺脫CNN和RNN，想要用純粹的Attention來實(shí)現(xiàn)Encoder-Decoder模型的任務(wù)，并且取得了非常不錯的效果。

• RNN系列總結(jié)

到這里，本章內(nèi)容就全部結(jié)束了。在這一章里，我們從最基礎(chǔ)的簡單結(jié)構(gòu)的循環(huán)神經(jīng)網(wǎng)絡(luò)開始介紹，介紹了循環(huán)神經(jīng)網(wǎng)絡(luò)的計算過程以及如何使用TensorFlow去實(shí)現(xiàn)，又介紹了幾種常用的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；在第四節(jié)里，我們介紹了循環(huán)神經(jīng)網(wǎng)絡(luò)所面臨的問題——長期依賴問題，以及相應(yīng)的解決辦法；之后，我們介紹了兩種基于門控制的循環(huán)神經(jīng)網(wǎng)絡(luò)，這是目前在循環(huán)神經(jīng)網(wǎng)絡(luò)里使用較多的兩種網(wǎng)絡(luò)結(jié)構(gòu)，這兩種網(wǎng)絡(luò)結(jié)構(gòu)通過在前后兩個網(wǎng)絡(luò)狀態(tài)之間增加線性的依賴關(guān)系，在一定程度上解決了梯度消失和梯度爆炸的問題；在第六節(jié)里，我們介紹了循環(huán)神經(jīng)網(wǎng)絡(luò)的一些應(yīng)用，并借此介紹了應(yīng)用在不同任務(wù)中時網(wǎng)絡(luò)結(jié)構(gòu)的不同；最后，我們介紹了對傳統(tǒng)Encoder-Decoder模型的一種改進(jìn)：Attention-based model。希望進(jìn)一步了解循環(huán)神經(jīng)網(wǎng)絡(luò)相關(guān)應(yīng)用的讀者，推薦參考本書GitHub項(xiàng)目中整理的相關(guān)資源。

在下一章里，我們將使用循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)幾個完整的項(xiàng)目，在學(xué)會使用TensorFlow搭建循環(huán)神經(jīng)網(wǎng)絡(luò)模型的同時，加深對循環(huán)神經(jīng)網(wǎng)絡(luò)的理解。

• 參考文獻(xiàn)

[1]Bengio: Learning Phrase Representations using RNN Encoder–Decoder for StatisticalMachine Translation

[2] Google： Sequence toSequence Learning with Neural Networks

[3]Google: Attention is All You Need

本專題更多相關(guān)文章，請查看：

獨(dú)家中文版 CMU 秋季深度學(xué)習(xí)課程免費(fèi)開學(xué)！

CMU 2018 秋季《深度學(xué)習(xí)導(dǎo)論》為官方開源最新版本，由卡耐基梅隆大學(xué)教授 Bhiksha Raj 授權(quán) AI 研習(xí)社翻譯。學(xué)員將在本課程中學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識，以及它們在眾多 AI 任務(wù)中的應(yīng)用。課程結(jié)束后，期望學(xué)生能對深度學(xué)習(xí)有足夠的了解，并且能夠在眾多的實(shí)際任務(wù)中應(yīng)用深度學(xué)習(xí)。