|
機(jī)器之心原創(chuàng) 作者：李亞洲
一、在百度的人工智能研究 2014 年 5 月 16 日，百度官方宣布建立硅谷實(shí)驗(yàn)室并任命吳恩達(dá)作為首席科學(xué)家，領(lǐng)頭百度北京與硅谷的實(shí)驗(yàn)室。當(dāng)時，百度投入了 3 億美元在硅谷建起專注人工智能的實(shí)驗(yàn)室。 但吳恩達(dá)來到百度，并非重頭開始建立深度學(xué)習(xí)。在 2013 年，百度就已建立深度學(xué)習(xí)研究院（IDL），并在圖像識別、基于圖像的搜索、語音識別、自然語言處理與語義智能、機(jī)器翻譯等領(lǐng)域做出重大進(jìn)展。當(dāng)時，IDL 由余凱（2012 年加入百度，2015 年離職）組建，百度 CEO 李彥宏任院長，余凱任常務(wù)副院長。 加入百度之后，吳恩達(dá)做了一件事?！杆嗁徚?1000 個 GPU，并在 24 小時內(nèi)得到。而在谷歌，他可能幾周或幾個月才能得到?！巩?dāng)時深度學(xué)習(xí)創(chuàng)業(yè)公司 SkyMind 的聯(lián)合創(chuàng)始人 Adam Gibson 在一次采訪中曾這么說道。 百度之前從未買過這樣的硬件。在這樣的支持下，吳恩達(dá)在百度建立了一個進(jìn)行深度學(xué)習(xí)的 GPU 集群，使得百度成為了世界上第一個建立深度學(xué)習(xí) GPU 集群的公司。幾年來，百度不斷在 GPU 和超級計(jì)算機(jī)方向做投入，加大深度學(xué)習(xí)的研究。 在加入百度之后，曾幫助谷歌建立 Google Brain 的吳恩達(dá)也在百度建起了「大腦」。 圖片：百度大腦官網(wǎng) 從百度大腦的官網(wǎng)，我們就可以明晰的看到吳恩達(dá)在百度的人工智能研究：機(jī)器學(xué)習(xí)、語音技術(shù)、圖像、自然語言處理、用戶畫像。 機(jī)器學(xué)習(xí) 今年 9 月份，吳恩達(dá)在百度世界大會上宣布開源深度學(xué)習(xí)平臺 PaddlePaddle。PaddlePaddle 的前身是百度于 2013 年自主研發(fā)的深度學(xué)習(xí)平臺 Paddle（Parallel Distributed Deep Learning，并行分布式深度學(xué)習(xí)），一直為百度內(nèi)部工程師研發(fā)使用，并且已經(jīng)做出了一些實(shí)際的產(chǎn)品，較為成熟。 據(jù)介紹，PaddlePaddle 是一個云端托管的分布式深度學(xué)習(xí)平臺，支持 GPU 運(yùn)算，支持?jǐn)?shù)據(jù)并行和模型并行。對于序列輸入、稀疏輸入和大規(guī)模數(shù)據(jù)的模型訓(xùn)練有著良好的支持，僅需少量代碼就能訓(xùn)練深度學(xué)習(xí)模型。 這是在谷歌宣布開源 TensorFlow 之后，又一科技巨頭開源的深度學(xué)習(xí)平臺。 不到一個月，百度再次宣布開源基準(zhǔn)工具 DeepBench，可對硬件平臺的深度學(xué)習(xí)性能進(jìn)行評估，幫助硬件開發(fā)人員優(yōu)化深度學(xué)習(xí)硬件，從而加快深度學(xué)習(xí)研究。 語音技術(shù) 「百度大腦已經(jīng)有好幾種不同的人工智能技術(shù)，其中比較成熟的就是我們的語音技術(shù)?！箙嵌鬟_(dá)在百度語音開放平臺三周年的主題活動上說。 長久以來，人與機(jī)器交談一直是人機(jī)交互領(lǐng)域內(nèi)的一個夢想。最近幾年來，隨著深度神經(jīng)網(wǎng)絡(luò)的應(yīng)用，計(jì)算機(jī)理解自然語音的能力也有了徹底革新。但人機(jī)的自然交互，涉及到語音方面的多項(xiàng)技術(shù)。在此次主題活動上，吳恩達(dá)談到了百度在語音識別、語音合成、語音輸入方面的研究。 「這幾年來，我們的團(tuán)隊(duì)在不斷地優(yōu)化語音識別系統(tǒng)，在 2012 年開始使用 DNN 模型，后來有比較好的特征，之后開始用 Sequence Discriminative Training，也開始使用 LSTM 模型，加上 CTC，今年我們的團(tuán)隊(duì)開發(fā)了 Deep CNN 模型，效果在不斷進(jìn)步，這就是我們的語音識別系統(tǒng)?！?/p> 百度于 2015 年 11 月發(fā)布的 Deep Speech 2 已經(jīng)能夠達(dá)到 97% 的準(zhǔn)確率，并被麻省理工科技評論評為 2016 年十大技術(shù)突破之一。 語音識別的記錄不斷在被刷新，今年微軟在英語語識別上準(zhǔn)確率的突破也幾乎媲美人類。但是，使用計(jì)算機(jī)生成語音——這個過程通常被稱為語音合成（speech synthesis）或文本轉(zhuǎn)語音（TTS）——仍在很大程度上基于所謂的拼接 TTS（concatenative TTS），其中有一個由單個人錄制的大量短語音片段構(gòu)成的非常大的數(shù)據(jù)庫，然后再將這些短語音組合起來構(gòu)成完整的話語。 今年 9 月份的時候，谷歌 DeepMind 爆出在語音合成上的突破性研究——WaveNet，將機(jī)器語音合成的表現(xiàn)與人類之間水平的差距至少縮減了 50%。 「我們的語音合成模型也變得越來越好。這幾年來我們在好幾個技術(shù)方面有比較大的突破，語音合成效果變得越來越好。現(xiàn)在百度在中國語音合成的能力達(dá)到業(yè)界領(lǐng)先的水平?！箵?jù)百度講，百度情感合成技術(shù)主要聚焦在為合成語音「加入情感」，目前可達(dá)到接近真人發(fā)聲效果。它們在今年早些時候曾利用此技術(shù)，復(fù)原已逝明星張國榮的聲音。 2016 年，我們也看到了深度學(xué)習(xí)在圖像（識別準(zhǔn)確率、風(fēng)格遷移）、自然語言處理、機(jī)器翻譯（谷歌神經(jīng)機(jī)器翻譯系統(tǒng)）等其他領(lǐng)域取得的最新進(jìn)展。 比如在自然語言處理任務(wù)上，序列到序列模型的注意實(shí)現(xiàn)了很大的進(jìn)展。在后續(xù)的專訪中，吳恩達(dá)表達(dá)了自己的看法，「從研究者的角度來看，未來幾年有非常多有可能帶來突破的思想，它們有可能能夠以全新的方式創(chuàng)造出更好的自然語言處理系統(tǒng)。比如說，在詞嵌入（word embedding）上，我們可以看到仍有很大的進(jìn)展。在跨模型學(xué)習(xí)上，也有一些研究成果。當(dāng)你同時學(xué)習(xí)計(jì)算機(jī)視覺和自然語言處理的時候，那是非常激動人心的?！?/p> 在研究上，吳恩達(dá)認(rèn)為遷移學(xué)習(xí)和多任務(wù)學(xué)習(xí)是很好的研究方向。他拿百度的 NLP 團(tuán)隊(duì)在 2015 年研究舉例說，「如果同時學(xué)習(xí)多個語言對之間的翻譯，效果會比同時學(xué)習(xí)一個語言對的效果好?！?/p> 當(dāng)時，谷歌的神經(jīng)機(jī)器翻譯的出現(xiàn)引起了業(yè)內(nèi)的極大關(guān)注。但在機(jī)器之心之前對百度 NLP 團(tuán)隊(duì)的專訪中，我們了解到百度的在線翻譯系統(tǒng)一年前就應(yīng)用了基于神經(jīng)網(wǎng)絡(luò)的翻譯方法。去年百度在 ACL 會議上發(fā)表論文《Multi-Task Learning for Multiple Language Translation》，探討用 NMT 技術(shù)解決多語言翻譯及語料稀疏的問題，這也就是吳恩達(dá)上面所說的多任務(wù)學(xué)習(xí)。 說到谷歌的神經(jīng)機(jī)器翻譯，我們依此為例向吳恩達(dá)追問技術(shù)到產(chǎn)品的部署問題。 吳恩達(dá)回應(yīng)說，「中國、美國和其它地方的公司在實(shí)現(xiàn)先進(jìn)人工智能的產(chǎn)品部署上都動作很快。但很多人并不知道很多部署實(shí)際上是中國的公司最先開始的，雖然不是全部，但也不少。就拿使用神經(jīng)網(wǎng)絡(luò)來為機(jī)器翻譯進(jìn)行序列學(xué)習(xí)的特定例子來說吧。實(shí)際上，百度比谷歌更早搞明白如何開發(fā)和部署它。除此之外，我們還能找到很多首先在中國被開發(fā)出來或產(chǎn)品化的技術(shù)?！?/p> 他還提到，「中國科技行業(yè)的發(fā)展速度是激動人心的。然而現(xiàn)在卻有一個令人吃驚的事實(shí)擺在我們面前：很多東西是最先在中國實(shí)現(xiàn)的，可能一年之后才傳入美國，但人們首先想到的還是美國的例子，而不是中國的?！?/p> 也許這是對中國人工智能研究實(shí)力的一次很好回應(yīng)。 今年 10 月份的時候，白宮發(fā)布的《國家人工智能研究與發(fā)展策略規(guī)劃》報(bào)告中稱中國的人工智能研究已經(jīng)走在了美國前面。在提及「深度學(xué)習(xí)」或「深度神經(jīng)網(wǎng)絡(luò)」的期刊論文數(shù)量上，中國在 2013 年就超越了美國。而且有媒體稱，中國的相關(guān)論文不僅數(shù)量上遠(yuǎn)超其他國家，質(zhì)量上的表現(xiàn)也毫不遜色。這一消息受到了業(yè)內(nèi)許多人士的質(zhì)疑，認(rèn)為數(shù)量不談，質(zhì)量上肯定還有很大差距。 眾說紛紜，難以有一基準(zhǔn)評出高低。但高盛近期的一份調(diào)查報(bào)告認(rèn)為，人工智能前沿的參與者可能會繼續(xù)來自美國和中國。 人工智能之路 1976 年初生，吳恩達(dá)今年剛好 40 歲，不惑之年。他與 Geoffrey Hinton、Yoshua Bengio、Yann LeCun 合稱為深度學(xué)習(xí)「四大天王」，但有人曾質(zhì)疑吳的人氣為何這么高？ 在 VB 較早的一篇專訪中是這樣評論吳恩達(dá)的，「Bengio 在訓(xùn)練神經(jīng)網(wǎng)絡(luò)上取得很大進(jìn)展，LeCun 開發(fā)了卷積神經(jīng)網(wǎng)絡(luò)，Hinton 普及了受限玻爾茲曼機(jī)。而吳采用最好的，并進(jìn)行部署與改進(jìn)。」 談起吳恩達(dá)，我們會想到他做過哪些事？取得過哪些成就？ 吳恩達(dá)出生于倫敦，父親是一位香港醫(yī)生。吳恩達(dá)年輕時候是在香港和新加坡度過的，父親對人工智能在醫(yī)療領(lǐng)域的應(yīng)用的興趣影響到了他。 他告訴我們，「當(dāng)時我還在新加坡，我的父親是一位醫(yī)生，他對人工智能在醫(yī)療領(lǐng)域的應(yīng)用很感興趣。所以當(dāng)時我就很幸運(yùn)地有些人工智能方面的書。我很小就開始學(xué)習(xí)人工智能，確切地說，是我 12 歲的時候。我 16 歲時，很幸運(yùn)地進(jìn)入新加坡國立大學(xué)做實(shí)習(xí)。在那里，我開始研究神經(jīng)網(wǎng)絡(luò)，甚至和教授一起寫了一篇小的研究論文。那篇論文今天看來不怎么樣，所以我也就不推薦你們讀了。不過打那時起，我就對神經(jīng)網(wǎng)絡(luò)以及它們從數(shù)據(jù)中學(xué)習(xí)的能力，非常著迷?！?/p> 21 歲時，吳恩達(dá)獲得了卡內(nèi)基梅隆大學(xué)的計(jì)算機(jī)科學(xué)學(xué)士學(xué)位。之后他在 1998 年獲得了麻省理工學(xué)院的碩士學(xué)位，并于 2002 年獲得了加州大學(xué)伯克利分校的博士學(xué)位，導(dǎo)師是 Michael I. Jordan。 在拿到博士學(xué)位后，吳恩達(dá)開始了在斯坦福大學(xué)的工作。后來，他成為了斯坦福大學(xué)計(jì)算機(jī)科學(xué)系和電子工程系副教授，人工智能實(shí)驗(yàn)室主任。 2010 年，時任斯坦福大學(xué)教授的吳恩達(dá)加入谷歌開發(fā)團(tuán)隊(duì) X Lab，作為顧問。他是較早從學(xué)界加入產(chǎn)業(yè)界的研究人員之一。 從 2010 年到今年，隨著人工智能、深度學(xué)習(xí)的興起，越來越多優(yōu)秀的學(xué)術(shù)界人才被企業(yè)所拉攏——Geoffrey Hinton、Russ Salakhutdinov、李飛飛。這一現(xiàn)象的加劇引起了業(yè)內(nèi)的一陣恐慌，害怕優(yōu)秀學(xué)者的流失會影響人工智能人才的造血。 談到這一現(xiàn)象吳恩達(dá)觀察到了不一樣的角度，他認(rèn)為近期的另一個變化就是公司也在創(chuàng)造人工智能人才，可能創(chuàng)造人才的規(guī)模要比學(xué)校更大： 「因?yàn)闃O大的缺乏人才，所以百度這樣的公司的招聘部門都投入很大。這也是為什么百度里有無數(shù)關(guān)于深度學(xué)習(xí)、計(jì)算機(jī)視覺、自然語言處理、語音識別的課程，我們會常規(guī)性的訓(xùn)練職員，從而讓他們更有所長。 事實(shí)上，百度硅谷辦公室已經(jīng)有了這樣的榮譽(yù)：硅谷學(xué)習(xí)人工智能的地方。所以，我認(rèn)為除了大學(xué)之外公司成為創(chuàng)造更多人工智能人才的地方來幫助我們做激動人心的工作，這是一個非常有前景的發(fā)展，這就是我們所面臨的?！?/p> 教學(xué)課程，是吳恩達(dá)的另一榮譽(yù)。 2008 年，吳恩達(dá)發(fā)起了「Stanford Engineering Everywhere」（SEE）項(xiàng)目，把斯坦福的許多課程放到網(wǎng)上，供免費(fèi)學(xué)習(xí)。他自己也教了一些課程，如機(jī)器學(xué)習(xí)課程，包含了他錄制的視頻講座和斯坦福 CS299 課程的學(xué)生材料。2011 年 8 月時，Coursera 作為一家公益創(chuàng)業(yè)公司正式成立，并逐漸成為了世界上最大的 MOOC 平臺之一。 同樣是 2011 年，吳恩達(dá)與 Jeff Dean、Greg Corrado 聯(lián)合創(chuàng)立了谷歌大腦。當(dāng)時，吳恩達(dá)向谷歌 Jeff Dean 提及了自己在 X 內(nèi)部實(shí)驗(yàn)的項(xiàng)目 Project Marvin，然后他們用自己的空余時間催生出了谷歌大腦（后來拉來了有神經(jīng)科學(xué)背景的 Greg Corrado）。 在谷歌大腦期間，最出名的案例就是他們所開發(fā)的人工神經(jīng)網(wǎng)絡(luò)通過觀看 YouTube 視頻，自主學(xué)會識別哪些是關(guān)于貓的視頻。這個案例為人工智能領(lǐng)域翻開嶄新一頁。 從2002年博士畢業(yè)任教到現(xiàn)在成為百度首席科學(xué)家，吳恩達(dá) 14 年中在谷歌、斯坦福、百度都帶領(lǐng)、扶持過一些成功的人工智能團(tuán)隊(duì)。基于這些經(jīng)驗(yàn)，他近期曾在哈佛商業(yè)評論上撰文呼吁大部分有數(shù)據(jù)但缺乏深度人工智能知識的公司來設(shè)立首席人工智能官。 他對我們解釋說，「我們都知道人工智能意味著什么，在目前的發(fā)展環(huán)境下，公司需要重新考慮自身業(yè)務(wù)如何與新技術(shù)相結(jié)合以獲得競爭優(yōu)勢。越來越多的公司雇傭了熟悉人工智能的高管，我認(rèn)為這很快就會形成一個特定的職位。我認(rèn)為有專人來從事這一工作會使公司的運(yùn)轉(zhuǎn)效率更高，這個人需要擁有足夠的技術(shù)知識，對人工智能的發(fā)展有獨(dú)到的見解。所以首席人工智能官需要通曉人工智能的運(yùn)行方式，而不僅僅是具有技術(shù)知識，它需要有開闊的眼界，明白如何將技術(shù)用于促進(jìn)商業(yè)發(fā)展，為公司帶來效益?！?/p> |
|
|
