摘要：諾亞采取了一種獨(dú)特的雙邊策略：既在傳統(tǒng)翻譯模型的架構(gòu)下加入深度學(xué)習(xí)的組件，也同時(shí)嘗試完全基于神經(jīng)網(wǎng)絡(luò)的深度架構(gòu)。諾亞以一種以卷積神經(jīng)網(wǎng)絡(luò)（CNN）為主的架構(gòu)作為其深度學(xué)習(xí)的主要工具。

機(jī)器翻譯，被認(rèn)為是人工智能和自然語言處理的“圣杯”。上個(gè)世紀(jì)九十年代，機(jī)器翻譯剛剛經(jīng)歷了一次變革，完成了從以規(guī)則為基礎(chǔ)的方法到統(tǒng)計(jì)方法的變遷。而許多人相信我們正在經(jīng)歷第二次變革，這一次則是深度學(xué)習(xí)為主的方法。

深度學(xué)習(xí)是否能夠取代傳統(tǒng)的統(tǒng)計(jì)方法，業(yè)界現(xiàn)在尚無定論。但是對(duì)于很多前沿的機(jī)器翻譯研究人員來說，他們其實(shí)更關(guān)心的是這次革命如何發(fā)生以及他們能否成為這次變革中的英雄。華為在香港和深圳的諾亞方舟實(shí)驗(yàn)室（下文簡稱“諾亞”）的研究員們就是其中的一份子。

諾亞資深研究員呂正東向CSDN介紹 ，諾亞自建立以來一直致力于數(shù)據(jù)處理和自然語言理解，機(jī)器翻譯是其核心任務(wù)之一，深度學(xué)習(xí)已經(jīng)成為諾亞研究機(jī)器翻譯技術(shù)的主要工具。

諾亞采取了一種獨(dú)特的雙邊策略：既在傳統(tǒng)翻譯模型的架構(gòu)下加入深度學(xué)習(xí)的組件，也同時(shí)嘗試完全基于神經(jīng)網(wǎng)絡(luò)的深度架構(gòu)。諾亞以一種以卷積神經(jīng)網(wǎng)絡(luò)（CNN）為主的架構(gòu)作為其深度學(xué)習(xí)的主要工具。CNN也是FFNN的一種特定形式，其在計(jì)算機(jī)視覺特別是圖像識(shí)別方面已經(jīng)取得了令人矚目的成功，但是用于機(jī)器翻譯還是相對(duì)新鮮的嘗試。

呂正東介紹，諾亞最近的兩項(xiàng)工作分別把CNN用于對(duì)源端的表示和對(duì)目標(biāo)端句子的生成過程。

1. 在第一項(xiàng)工作中，CNN利用解碼端的信號(hào)來對(duì)源端的句子進(jìn)行有針對(duì)性的向量形式的總結(jié)，而這個(gè)方法在另一個(gè)FFNN的幫助下可以被直接用于解碼過程。在傳統(tǒng)機(jī)器模型中應(yīng)用諾亞該CNN模型，BLEU值相對(duì)于傳統(tǒng)模型可帶來2個(gè)點(diǎn)的提升?！?】

2. 與第一項(xiàng)工作不同，第二項(xiàng)工作更貼近深度神經(jīng)網(wǎng)絡(luò)，所使用的架構(gòu)是一種經(jīng)過巧妙設(shè)計(jì)的CNN。當(dāng)這個(gè)CNN模型被用來生成目標(biāo)端的自然語言句子時(shí)，在BLEU值上也取得了不亞于上一個(gè)工作的提升。不僅如此，這個(gè)CNN模型還可以被直接用來對(duì)別的翻譯模型生成的候選語句進(jìn)行語言模型意義上的重排序，從而提升翻譯語句的質(zhì)量?！?】

在諾亞之前，機(jī)器翻譯已經(jīng)在短短兩年時(shí)間內(nèi)取得了驚人的進(jìn)展，包含Google Brain、Raytheon BBN Technologies (BBN)、蒙特利爾大學(xué)和百度在內(nèi)的多個(gè)研究機(jī)構(gòu)都在不斷地推進(jìn)這項(xiàng)研究，當(dāng)然也包括這些機(jī)構(gòu)對(duì)深度學(xué)習(xí)的應(yīng)用。

1. Google Brain采取了一種最為極端的策略：以一個(gè)“編碼”遞歸神經(jīng)網(wǎng)絡(luò)（RNN）發(fā)現(xiàn)對(duì)待翻譯句子（源端）的表示，用另一個(gè)“解碼”RNN將這個(gè)表示展開成（目標(biāo)端）的句子。Google的模型有三億多的參數(shù)，同時(shí)對(duì)訓(xùn)練數(shù)據(jù)的數(shù)量和平臺(tái)都有較高要求。【3】

2. 蒙特利爾大學(xué)的策略和Google的接近，但是巧妙地利用一種自動(dòng)對(duì)齊的策略來避免對(duì)源端的純粹的向量表示，從而可以在較小規(guī)模的參數(shù)和數(shù)據(jù)集上也有較好的效果。【4】

3. BBN的策略與前兩者不同，他們更多的依賴傳統(tǒng)模型而非深度的神經(jīng)網(wǎng)絡(luò)，但是在傳統(tǒng)模型中增加了一個(gè)高效的前向神經(jīng)網(wǎng)絡(luò)（FFNN）的聯(lián)合語言模型，從而大大提高了解碼的效果?！?】

4. 百度新發(fā)布的翻譯系統(tǒng)，應(yīng)用了長短時(shí)記憶（LSTM，Long Short-Term Memory）的RNN模型。該模型擅長對(duì)自然語言建模，把任意長度的句子轉(zhuǎn)化為特定維度的浮點(diǎn)數(shù)向量，同時(shí)“記住”句子中比較重要的單詞，讓“記憶”保存比較長的時(shí)間。該模型能夠很好地解決自然語言句子向量化的難題。

去年獲得ACL（自然語言處理領(lǐng)域的頂會(huì)）最佳論文獎(jiǎng)的BBN模型，被廣泛認(rèn)為代表了國際先進(jìn)水平，該模型相比較傳統(tǒng)模型在BLEU值（用以衡量機(jī)器翻譯效果）取得了1個(gè)點(diǎn)的提升。

諾亞的雙邊策略與Google Brain、BBN、和蒙特利爾大學(xué)的單邊策略顯然有所不同。在傳統(tǒng)機(jī)器模型中應(yīng)用諾亞第一項(xiàng)工作中的CNN模型，相對(duì)于BBN的最新模型也提升了1個(gè)點(diǎn)。諾亞第二項(xiàng)工作的提升，在深度神經(jīng)網(wǎng)絡(luò)也是非常好的效果。

由此看來，隨著深度學(xué)習(xí)的普及應(yīng)用，機(jī)器翻譯的競賽才剛剛開始且漸趨白熱化。以深度學(xué)習(xí)為基礎(chǔ)的框架是否能夠取得優(yōu)于傳統(tǒng)模型的結(jié)果，其進(jìn)展和速度如何，請(qǐng)您隨時(shí)關(guān)注CSDN人工智能社區(qū)。如果您有好的人工智能技術(shù)成果分享，也歡迎投稿（zhoujd@csdn.net）。

參考文獻(xiàn)

【1】F. Meng, Z. Lu, M. Wang, H. Li, W. Jiang and Q. Liu. Encoding source language sentence with a convolutional neural network for machine translation. In Proceedings of ACL,2015.

【2】M. Wang, Z. Lu, H. Li, W. Jiang, and Q. Liu. genCNN: A convolutional architecture for wordsequence prediction. In Proceedings of ACL,2015.

【3】I. Sutskever, O. Vinyals, and Q. V. Le. Sequence to sequence learning with neural networks.In Advances in Neural Information Processing Systems, pages 3104-3112, 2014.

【4】D. Bahdanau, K. Cho, and Y. Bengio. Neural machine translation by jointly learning to align and translate. In Proceedings of ICLR, 2015.

【5】J. Devlin, R. Zbib, Z. Huang, T. Lamar, R. Schwartz, and J. Makhoul. Fast and robust neural network joint models for statistical machine translation. In Proceedings of ACL, 2014

【預(yù)告】中國人工智能大會(huì)（CCAI 2015）將于7月26-27日在北京友誼賓館召開。機(jī)器學(xué)習(xí)與模式識(shí)別、大數(shù)據(jù)的機(jī)遇與挑戰(zhàn)、人工智能與認(rèn)知科學(xué)、智能機(jī)器人四個(gè)主題專家云集。人工智能產(chǎn)品庫將同步上線，預(yù)約咨詢：QQ：1192936057。歡迎關(guān)注。

大會(huì)官網(wǎng)：http://ccai2015.csdn.net/