 誕生之日起，百度就將自然語言處理技術(shù)廣泛應(yīng)用于其各個(gè)業(yè)務(wù)中，比如百度搜索、query 改寫、分詞、專名識別等。隨著技術(shù)的進(jìn)步，應(yīng)用場景不斷拓展，自然語言處理技術(shù)也發(fā)揮越來越重要的作用。百度很早就做了比較全面的布局，涵蓋語義理解、人機(jī)對話、機(jī)器翻譯、閱讀理解、深度問答、語言生成等重要方向。其中，既有核心技術(shù)、前瞻研究，也有應(yīng)用系統(tǒng)。 過去兩年，預(yù)訓(xùn)練技術(shù)在 NLP 領(lǐng)域發(fā)展迅速，刷新了 NLP 各類任務(wù)的最好結(jié)果（SOTA）。百度研發(fā)團(tuán)隊(duì)看到了預(yù)訓(xùn)練技術(shù)帶來的廣闊前景，判斷出這項(xiàng)技術(shù)將會是 NLP 未來發(fā)展的重要方向，也會為公司業(yè)務(wù)線賦能。因此，在語義理解方面，百度 2019 年研發(fā)出了基于知識增強(qiáng)的持續(xù)學(xué)習(xí)語義理解框架 ERNIE。 ERINE 項(xiàng)目地址： https://github.com/PaddlePaddle/ERNIE 據(jù)何中軍介紹，相對于國際上其他的模型，ERNIE 可以持續(xù)地學(xué)習(xí)海量數(shù)據(jù)中詞匯、結(jié)構(gòu)、語義等知識，使得模型效果不斷提升，而傳統(tǒng)模型主要學(xué)習(xí)語言的共現(xiàn)，沒有對海量數(shù)據(jù)中的其他豐富知識進(jìn)行建模。由于對知識的有效利用以及模型的創(chuàng)新，ERNIE 僅用了 1/4 的訓(xùn)練數(shù)據(jù)和 1/16 的 GPU 資源，在 GLUE 評測中首次突破 90 分，超過了國際上許多其他同類模型。 為了使 ERNIE 在業(yè)務(wù)中廣泛落地，百度又提出 ERNIE 輕量化技術(shù)，將其響應(yīng)時(shí)間壓縮至千分之一，極大地降低了 ERNIE 性能開銷，使得 ERNIE 在工業(yè)界得到了大規(guī)模應(yīng)用。當(dāng)前 ERNIE 在搜索、信息流、小度音箱、智能客服等數(shù)十個(gè)核心業(yè)務(wù)上落地，提升了產(chǎn)品智能化水平，幫助人們更加方便、快捷、準(zhǔn)確地獲取信息。 隨著 ERNIE 累計(jì)學(xué)習(xí)知識量的積累，機(jī)器資源也面臨著巨大挑戰(zhàn)。據(jù)何中軍稱，“目前，ERNIE 累計(jì)學(xué)習(xí)知識量已經(jīng)超過十億?！?為了解決海量數(shù)據(jù)對機(jī)器資源造成的壓力，百度研發(fā)團(tuán)隊(duì)又基于自研的深度學(xué)習(xí)平臺“飛槳”，研發(fā)出了持續(xù)學(xué)習(xí)的預(yù)訓(xùn)練算法，使得模型的訓(xùn)練不用每次重啟，而是增量的方式進(jìn)行學(xué)習(xí)，極大節(jié)省了模型訓(xùn)練成本。同時(shí)，基于 ERNIE 研發(fā)了新一代 NLP 開發(fā)平臺，幫助開發(fā)者迅速將最新技術(shù)成果應(yīng)用于自身業(yè)務(wù)。 近年來，機(jī)器同傳結(jié)合了語音處理技術(shù)和機(jī)器翻譯技術(shù)，無論前瞻研究還是實(shí)際系統(tǒng)應(yīng)用，都取得了較大進(jìn)展。 去年，百度機(jī)器翻譯團(tuán)隊(duì)創(chuàng)新性地提出了語義單元驅(qū)動的機(jī)器同傳模型，并基于此發(fā)布了業(yè)內(nèi)首個(gè)語音到語音的同傳系統(tǒng)，提供低時(shí)延、高質(zhì)量的同傳解決方案。 在談到百度機(jī)器同傳在發(fā)展過程中遇到的技術(shù)難點(diǎn)時(shí)，何中軍表示：
經(jīng)過持續(xù)技術(shù)創(chuàng)新，如今，百度翻譯在多語言翻譯、同聲傳譯等方向上取得了多項(xiàng)突破，支持全球 200 種語言、近 40000 個(gè)方向的互譯；通過開放平臺，支持了超過 30 萬個(gè)開發(fā)者接入；機(jī)器同傳成功應(yīng)用于幾十場大型國際會議。 自然語言處理一直是人工智能領(lǐng)域的重要研究方向，由于人類語言的復(fù)雜、靈活、多樣，使得自然語言處理也充滿挑戰(zhàn)。近年來，在人工智能迅速發(fā)展的大背景下，自然語言處理也取得了長足的進(jìn)步。 顯而易見的是，NLP 領(lǐng)域的研究方法和范式發(fā)生了深刻的變革。深度學(xué)習(xí)與自然語言處理具體任務(wù)相結(jié)合，進(jìn)一步挖掘了大數(shù)據(jù)的潛力，系統(tǒng)性能大幅提升。例如，機(jī)器翻譯主流技術(shù)由原來的統(tǒng)計(jì)方法轉(zhuǎn)變?yōu)樯窠?jīng)網(wǎng)絡(luò)的方法，翻譯質(zhì)量的提升超過過去十年的總和；預(yù)訓(xùn)練技術(shù)廣泛應(yīng)用于 NLP 各任務(wù)，在國際權(quán)威的基準(zhǔn)測試集 GLUE 上甚至超過了人類平均水平。預(yù)訓(xùn)練（Pre-training）加精細(xì)化調(diào)整（Fine-tuning）幾乎成為 NLP 的標(biāo)配，使得具體領(lǐng)域的小樣本數(shù)據(jù)不再是一個(gè)個(gè)的孤島，而是能站在大數(shù)據(jù)這個(gè)巨人的肩膀上進(jìn)一步發(fā)揮威力。 各領(lǐng)域技術(shù)邊界日趨模糊，互相取長補(bǔ)短，深度融合。例如應(yīng)用于機(jī)器翻譯的序列到序列建模技術(shù)，在語音、圖像處理等也都取得了很好的效果，而在圖像處理中廣泛使用的卷積神經(jīng)網(wǎng)絡(luò)也被用來構(gòu)建機(jī)器翻譯模型。如果將圖像作為輸入，文字作為輸出，則可以用序列到序列的技術(shù)進(jìn)行圖文翻譯。語音、語言、視覺等技術(shù)深度融合，促進(jìn)了跨模態(tài)的研究和應(yīng)用。 應(yīng)用場景大幅拓展、不斷深化。自然語言處理技術(shù)使得計(jì)算機(jī)在理解、對話、創(chuàng)作等方面的能力都大大加強(qiáng)，在搜索、金融、教育、客服等場景發(fā)揮越來越重要的作用。人們開始習(xí)慣于使用更加自然、口語化的表達(dá)來與計(jì)算機(jī)進(jìn)行交流。由此產(chǎn)生的多樣化、場景化的數(shù)據(jù)又反哺技術(shù)，用于訓(xùn)練模型，提升效果。 開源開放的生態(tài)大大降低了 NLP 研發(fā)和應(yīng)用門檻，促進(jìn)了 NLP 的繁榮發(fā)展。比如“飛槳”平臺集成了 NLP 豐富的模型，同時(shí)還提供免費(fèi)的算力，使得開發(fā)者可以很容易的接入，基于業(yè)界領(lǐng)先的技術(shù)和平臺開發(fā)系統(tǒng)，而不必從頭做起。再如我們聯(lián)合計(jì)算機(jī)學(xué)會、中文信息學(xué)會舉辦的“語言與智能”技術(shù)競賽，開放大規(guī)模真實(shí)場景數(shù)據(jù)，每年都吸引國內(nèi)外數(shù)千支隊(duì)伍報(bào)名參加，共同推進(jìn)技術(shù)發(fā)展與應(yīng)用。 在談到 NLP 技術(shù)未來的發(fā)展方向時(shí)，何中軍表示：
|
|
|
