新春過(guò)后不久（2 月 4 日- 9 日），我們就迎來(lái)了 2017 年人工智能領(lǐng)域的首個(gè)重磅會(huì)議——AAAI-17，這也是第 31 屆 AAAI 人工智能大會(huì)。機(jī)器之心在這場(chǎng)會(huì)議前后對(duì)該會(huì)議的亮點(diǎn)進(jìn)行了跟蹤報(bào)道和深度解讀，詳情參閱機(jī)器之心的相關(guān)報(bào)道《人工智能頂級(jí)會(huì)議 AAAI-17 亮點(diǎn)前瞻：洞見(jiàn)人工智能最前沿》、《提升人工智能準(zhǔn)確度, 微軟解讀多項(xiàng) AAAI-17 研究》、《MIT AAAI-17 研究展示:為規(guī)劃算法加入人類(lèi)直覺(jué)》、《AAAI-17 獲獎(jiǎng)?wù)撐纳疃冉庾x（上）：從無(wú)標(biāo)簽監(jiān)督學(xué)習(xí)到人工智能道德框架》和《AAAI-17 獲獎(jiǎng)?wù)撐纳疃冉庾x（下）：蒙特卡羅定位和推薦系統(tǒng)》。

而在本屆 AAAI 大會(huì)上，華人力量的崛起也是一個(gè)非常值得關(guān)注的看點(diǎn)。在接收論文的列表上，我們也能很明顯地看到大量華人研究者的名字，當(dāng)然，其中有很多論文實(shí)際上是中外研究機(jī)構(gòu)合作的成果，比如由加州大學(xué)伯克利分校和今日頭條實(shí)驗(yàn)室合作發(fā)表的論文《一個(gè)用于時(shí)間模型中聯(lián)合參數(shù)和狀態(tài)估計(jì)的近似黑箱的在線(xiàn)算法（A Nearly-Black-Box Online Algorithm for Joint Parameter and State Estimation in Temporal Models）》。這篇論文的作者有來(lái)自伯克利電氣工程與計(jì)算機(jī)科學(xué)系的 Yusuf B. Erol、吳翼（Yi Wu）和 Stuart Russell，以及來(lái)自今日頭條實(shí)驗(yàn)室的李磊（Lei Li）。

論文摘要：對(duì)于時(shí)間模型而言，在線(xiàn)的聯(lián)合參數(shù)和狀態(tài)估計(jì)是一個(gè)核心問(wèn)題。現(xiàn)有的絕大多數(shù)方法不是受限于特定類(lèi)別的模型（比如 Storvik 過(guò)濾器），就是計(jì)算成本過(guò)高（例如，particle MCMC）。我們提出了一種全新的近似黑箱算法（nearly-black-box algorithm）——預(yù)設(shè)參數(shù)濾波算法（Assumed Parameter Filter/APF），這是一種用于狀態(tài)變量的粒子濾波（particle filtering）和用于參數(shù)變量的預(yù)設(shè)密度濾波（assumed density filtering）的混合。它具有以下優(yōu)勢(shì)：（a）它是在線(xiàn)的并且在計(jì)算上是高效的；（b）適用于帶有任意轉(zhuǎn)變動(dòng)態(tài)（transition dynamics）的離散和連續(xù)參數(shù)空間。和一些標(biāo)準(zhǔn)算法相比，在計(jì)算負(fù)載固定時(shí)，APF 在幾種不同的模型上都生成了更加準(zhǔn)確的結(jié)果。

大會(huì)結(jié)束之后，機(jī)器之心對(duì) Yusuf B. Erol、吳翼和李磊進(jìn)行了專(zhuān)訪(fǎng)，請(qǐng)他們解讀了這份研究成果并談了談對(duì)其它一些問(wèn)題的看法。在此之前，先讓我們對(duì)本文的這三位主角作一個(gè)簡(jiǎn)單介紹。

Yusuf Bugra Erol 和吳翼都是著名計(jì)算機(jī)科學(xué)學(xué)者 Stuart Russell 教授的博士學(xué)生，其中吳翼參與過(guò)的論文《Value Iteration Networks》在去年 12 月的 NIPS 2016 上獲最佳論文獎(jiǎng)（參看報(bào)道《機(jī)器之心對(duì)話(huà) NIPS 2016 最佳論文作者：如何打造新型強(qiáng)化學(xué)習(xí)觀(guān)？》）。而現(xiàn)任今日頭條科學(xué)家、頭條實(shí)驗(yàn)室總監(jiān)的李磊也曾在伯克利進(jìn)行過(guò)博士后研究（參看機(jī)器之心的專(zhuān)訪(fǎng)《頭條實(shí)驗(yàn)室科學(xué)家李磊：準(zhǔn)確率更高的問(wèn)答系統(tǒng)和概率程序語(yǔ)言》）。

以下是機(jī)器之心對(duì)該論文的這三位作者的采訪(fǎng)內(nèi)容：

論文解讀

機(jī)器之心：首先請(qǐng)為我們簡(jiǎn)單介紹一下這篇論文的研究成果。

李磊：人工智能研究的恒久主題之一是對(duì)通用表示框架和快速推理算法的探索。時(shí)序概率模型中（即隨時(shí)間變化的模型），參數(shù)和隱變量的在線(xiàn)聯(lián)合估計(jì)通常比較困難。本文針對(duì)非常廣泛的概率時(shí)序模型，提出一個(gè)通用且高效的參數(shù)和隱變量估計(jì)算法，稱(chēng)作預(yù)設(shè)參數(shù)濾波算法（Assumed Parameter Filter/APF）。這個(gè)算法將可用來(lái)解決幾乎任意的時(shí)間序列模型中推理問(wèn)題，且是在線(xiàn)估計(jì)，所以可以解決很長(zhǎng)或者持續(xù)時(shí)間序列的問(wèn)題。

機(jī)器之心：您提出的算法有什么看點(diǎn)？

Yusuf Erol：我們的算法有以下特色：

1. 通用，適用于（幾乎）任意時(shí)間序列模型（狀態(tài)空間模型）；

2. 適用于持續(xù)時(shí)間序列數(shù)據(jù)；

3. 可以處理未知狀態(tài)和參數(shù)的聯(lián)合估計(jì)，之前的算法很多都只能估計(jì)未知狀態(tài)，而能估計(jì)未知參數(shù)的算法都是離線(xiàn)的，比較慢；

4. 理論上可以逼近真實(shí)解。

機(jī)器之心：可以舉例說(shuō)明一下嗎？

Yusuf Erol：舉個(gè)例子，醫(yī)院急癥看護(hù)病房每個(gè)病人都接了很多監(jiān)測(cè)儀器，持續(xù)測(cè)量血壓、心跳、呼吸等生理指標(biāo)。很多指標(biāo)的采樣頻率很高，數(shù)據(jù)量非常大，靠護(hù)士監(jiān)管看不過(guò)來(lái)，需要通過(guò)算法從這些持續(xù)監(jiān)測(cè)的生理指標(biāo)時(shí)間序列數(shù)據(jù)中實(shí)時(shí)自動(dòng)的分析出病人狀態(tài)，以便預(yù)測(cè)并應(yīng)對(duì)突發(fā)情況，比如突發(fā)休克。這個(gè)問(wèn)題一個(gè)方法是通過(guò)建立多維時(shí)間序列模型，這些模型刻畫(huà)了人身體內(nèi)生理運(yùn)轉(zhuǎn)狀況，其中有些變量是沒(méi)有直接監(jiān)測(cè)到的（通常稱(chēng)作狀態(tài)（state）），比如血管內(nèi)流量大小和速度，還有一些是因人而異的參數(shù)比如腦容量大小、身高和體重等。需要解決的問(wèn)題是有了時(shí)間序列模型和觀(guān)測(cè)數(shù)據(jù)（比如血壓和心跳）后，如何實(shí)時(shí)快速的估計(jì)出未知的變量和參數(shù)。

為了方便的實(shí)驗(yàn)驗(yàn)證各種模型，需要一個(gè)通用的表示框架，以及一個(gè)通用黑盒的推理方法。我們采用概率編程語(yǔ)言 BLOG 作為表述模型的框架，這個(gè)框架可以描述非常廣泛的模型，我們論文解決的就是在通用框架里面有了觀(guān)測(cè)數(shù)據(jù)、有了模型時(shí)，如何快速且自動(dòng)地做推理。

機(jī)器之心：這個(gè)算法能夠怎樣幫助用戶(hù)？

李磊：概率程序可以給一線(xiàn)工程師和應(yīng)用方提供簡(jiǎn)單快速驗(yàn)證各種設(shè)想的方案，使用方只要熟悉他需要解決的問(wèn)題學(xué)會(huì)這個(gè)建模語(yǔ)言，即使不了解機(jī)器學(xué)習(xí)如何做推理，也可以通過(guò)概率程序的自動(dòng)推理引擎來(lái)做解決方案，極大地降低了機(jī)器學(xué)習(xí)使用門(mén)檻。通過(guò)概率程序來(lái)表達(dá)時(shí)間序列模型也有同樣的便利。

機(jī)器之心：APF 和以往的 SSM 比有那些優(yōu)勢(shì)？

Yusuf Erol：傳統(tǒng) SSM 推理算法（Particle filter, PMCMC 等）要么只能估計(jì)動(dòng)態(tài)隱變量，不能估計(jì)靜態(tài)參數(shù)（SMC algorithms)；要么只適用特定模型（Extended Parameter Filter）; 要么雖然通用但速度很慢，是離線(xiàn)算法（PMCMC)。我們的算法在上述三方面都有優(yōu)勢(shì)。

機(jī)器之心：SSM 的適合的應(yīng)用有哪些？

Yusuf Erol：SSM 適合應(yīng)用于需要對(duì)時(shí)間變化建模的數(shù)據(jù)。

機(jī)器之心：您認(rèn)為輸入的預(yù)設(shè)參數(shù)會(huì)對(duì)結(jié)果造成什么影響？

Yusuf Erol：我們算法的誤差一方面來(lái)自于用于逼近的統(tǒng)計(jì)量是有限維度的。只要模型本身的真實(shí)后驗(yàn)概率可以計(jì)算，我們算法就可以工作得很好。尤其是如果參數(shù)的真實(shí)后驗(yàn)分布是高斯分布，那么就可以在理論上證明算法收斂。應(yīng)用中發(fā)現(xiàn)實(shí)際效果比理論更好。

機(jī)器之心：可以使用一個(gè)生成器來(lái)自動(dòng)生成不同的預(yù)設(shè)密度嗎？可以變成完全的黑箱算法嗎？

吳翼：這是一個(gè)很有趣的問(wèn)題，要讓算法真正完全黑箱（black-box），需要對(duì)任意近似分布（approximate distribution）都能進(jìn)行統(tǒng)計(jì)量（sufficient statistics）的更新計(jì)算。對(duì)于任意指數(shù)類(lèi)（exponential family）的分布，可以利用變分推理（variational inference）技術(shù)進(jìn)行后驗(yàn)概率計(jì)算。當(dāng)然，自然而然的問(wèn)題是：我們能不能用一個(gè)程序來(lái)幫助人自動(dòng)做數(shù)學(xué)計(jì)算呢？從這個(gè)大的角度看，這是一個(gè)很難的問(wèn)題，也是很有趣的問(wèn)題。學(xué)術(shù)界有非常多的嘗試，比如大家熟知的 Mathematica 軟件就是一個(gè)成功的產(chǎn)品，現(xiàn)在大家也嘗試用深度學(xué)習(xí)的方法讓 AI 自動(dòng)進(jìn)行數(shù)學(xué)定理的證明。希望在不久的將來(lái)，AI 可以完成開(kāi)放性問(wèn)題的數(shù)學(xué)證明。

機(jī)器之心：今日頭條在這方面有哪些計(jì)劃和打算，會(huì)把這項(xiàng)研究應(yīng)用到產(chǎn)品中嗎？

李磊：有好幾個(gè)可能應(yīng)用，今日頭條的主產(chǎn)品是個(gè)性化內(nèi)容推薦，把推薦做好，需要對(duì)文章圖片視頻進(jìn)行分析，理解文章里面有哪些人物和事件，多個(gè)文章里面的同一事件是如何演化的，這里需要時(shí)序模型；今日頭條的產(chǎn)品運(yùn)營(yíng)中有很多記錄的時(shí)間序列數(shù)據(jù)，比如每個(gè)時(shí)刻各個(gè)地區(qū)的訪(fǎng)問(wèn)量、閱讀停留時(shí)間，時(shí)間序列模型也可以對(duì)這些數(shù)據(jù)建模；我們的數(shù)據(jù)中心檢測(cè)同樣有很多數(shù)據(jù)，比如每分每秒每個(gè)服務(wù)器的負(fù)載、流量、溫度等，通過(guò)時(shí)間序列對(duì)其建?？梢宰鲱A(yù)測(cè)，進(jìn)行災(zāi)害預(yù)警。

關(guān)于概率編程

機(jī)器之心：聽(tīng)說(shuō)您們負(fù)責(zé)了一個(gè) DARPA 項(xiàng)目的子項(xiàng)目 PPAML，能簡(jiǎn)單介紹一下嗎？

吳翼：PPAML 的全名是 Probabilistic Programming for Advanced Machine Learning。是由 DARPA（Defense Advanced Research Projects Agency）推動(dòng)的一項(xiàng)歷時(shí) 4 年的基礎(chǔ)科學(xué)研究。DARPA 中文名是國(guó)防高等研究計(jì)劃署，隸屬于美國(guó)國(guó)防部，致力于各種前瞻性研究，歷史上一直都是各種黑科技的孵化器和誕生器。從基礎(chǔ)的科學(xué)研究到美國(guó)絕密的武器裝備的研究，DARPA 都有涉及。比如互聯(lián)網(wǎng)的雛形就誕生于 DARPA，現(xiàn)在普及大眾的人臉識(shí)別技術(shù)也是 DARPA 最先推動(dòng)的，美國(guó)的很多自動(dòng)駕駛、機(jī)器人、無(wú)人機(jī)技術(shù)也是 DARPA 推動(dòng)的。PPAML 項(xiàng)目作為一項(xiàng)基礎(chǔ)科學(xué)研究（當(dāng)然不是絕密的軍工項(xiàng)目了，不然我作為中國(guó)人也不可能參與其中），旨在推動(dòng)概率編程語(yǔ)言的進(jìn)步和發(fā)展，來(lái)讓各個(gè)科學(xué)領(lǐng)域享受到計(jì)算機(jī)科學(xué)和機(jī)器學(xué)習(xí)科學(xué)的紅利，提高各個(gè)科學(xué)領(lǐng)域的數(shù)據(jù)分析效率以推動(dòng)整個(gè)科學(xué)界的更快發(fā)展。

機(jī)器之心：請(qǐng)您簡(jiǎn)要介紹一下概率編程（PP）和深度學(xué)習(xí)的區(qū)別，以及各自的優(yōu)勢(shì)和劣勢(shì)。

李磊：概率編程是通過(guò)程序語(yǔ)言來(lái)定義概率模型，由通用的概率推理系統(tǒng)來(lái)自動(dòng)求解。深度學(xué)習(xí)的模型也可以通過(guò)程序來(lái)定義和求解，這一點(diǎn)上兩者是相似的。最大的區(qū)別在表達(dá)能力和推理算法，深度學(xué)習(xí)的模型是可導(dǎo)（或次可導(dǎo)）函數(shù)構(gòu)成的，概率程序表達(dá)能力通常更強(qiáng)，神經(jīng)網(wǎng)絡(luò)模型可以表達(dá)成為概率程序的一個(gè)特殊子類(lèi)別。

由于深度學(xué)習(xí)的模型具有很強(qiáng)的特殊性，因此深度學(xué)習(xí)系統(tǒng)可以相對(duì)容易地采用梯度下降算法來(lái)求解。而概率程序的通用算法通常基于馬爾可夫鏈蒙特卡羅法（MCMC）。廣義而言，概率編程語(yǔ)言考慮的模型是任意可以用程序表達(dá)的結(jié)構(gòu)：而我們知道程序中有分支（if）、循環(huán)（for loop）、遞歸（recursion），一個(gè)圖靈完備（Turing complete）的編程語(yǔ)言需要能夠表達(dá)任意可在圖靈機(jī)上執(zhí)行的程序。由于概率編程語(yǔ)言具有極強(qiáng)的表達(dá)性，這給自動(dòng)推斷系統(tǒng)帶來(lái)了很大的難度——當(dāng)然，因?yàn)橥ㄓ?，最大的局限是推理速度緩慢?/span>

我們的工作就是在保持概率編程表達(dá)性的前提下提高推理速度。也正是由于概率編程強(qiáng)大的表達(dá)能力，可以讓概率編程惠及更多的受眾，比如其他領(lǐng)域的科學(xué)家、認(rèn)知科學(xué)家、數(shù)據(jù)科學(xué)家等等。使用者不需要對(duì)機(jī)器學(xué)習(xí)的推理算法有深入了解，只需要掌握建模語(yǔ)言，即可方便快速地構(gòu)建和應(yīng)用機(jī)器學(xué)習(xí)模型。

機(jī)器之心：您認(rèn)為用編譯的方法來(lái)優(yōu)化機(jī)器學(xué)習(xí)的意義大嗎？

吳翼：由于概率編程語(yǔ)言強(qiáng)大的模型表示能力，其背后的通用推理系統(tǒng)往往效率低下。系統(tǒng)的效率低下往往有著兩個(gè)方面的原因：1. 推斷算法收斂速度慢； 2. 算法執(zhí)行和系統(tǒng)實(shí)現(xiàn)效率低下。要提高概率編程語(yǔ)言的推斷效率，顯然我們需要雙管齊下。概率編程語(yǔ)言和普通的編程語(yǔ)言（比如 Python、C、Java）的編譯有著本質(zhì)的不同。對(duì)于普通編程語(yǔ)言（例如 C 語(yǔ)言），編譯器并不會(huì)更改程序員寫(xiě)的代碼語(yǔ)義，只是在代碼上做同語(yǔ)義的改寫(xiě)。比如程序員寫(xiě)了 print('hello world!')，那么正確的編譯器不論怎么改寫(xiě)，用戶(hù)執(zhí)行編譯后的可執(zhí)行代碼，執(zhí)行的結(jié)果都是在屏幕上顯示「hello world」。然而對(duì)于概率編程語(yǔ)言卻并不是這樣：程序員只是用編程語(yǔ)言描述了模型是什么，至于怎么根據(jù)這個(gè)模型計(jì)算、算法怎么實(shí)現(xiàn)，都是編譯器需要操心的事情。

一般來(lái)說(shuō)概率編程語(yǔ)言所采用的系統(tǒng)設(shè)計(jì)，往往是讀入用戶(hù)輸入的模型，并存儲(chǔ)成某種數(shù)據(jù)結(jié)構(gòu)，然后選用開(kāi)發(fā)人員預(yù)先寫(xiě)好的某個(gè)算法，在這個(gè)數(shù)據(jù)結(jié)構(gòu)上進(jìn)行計(jì)算。這樣的執(zhí)行方式是解釋性的（interpretive，比如 Python 就是解釋性的語(yǔ)言），有很多的冗余。而一個(gè)好的概率編程語(yǔ)言編譯器，需要對(duì)于用戶(hù)輸入的不同模型結(jié)合選用的算法做深度的分析和優(yōu)化，并自動(dòng)生成專(zhuān)門(mén)對(duì)于當(dāng)前模型定制的算法實(shí)現(xiàn)。比如我們的 Swift 編譯器，就可以在采用相同算法的前提下，將概率編程語(yǔ)言的推斷速度提高 100 倍以上。

機(jī)器之心：這個(gè)研究在哪些方向上還能繼續(xù)拓展？

Yusuf Erol：非常高維的狀態(tài)空間模型中的推理算法，理論上更強(qiáng)的結(jié)果等。

吳翼：引入更多程序語(yǔ)言編譯優(yōu)化的算法來(lái)加速推理。比如部分計(jì)算。我們也在一直完善和加強(qiáng) compiler，增加特性，提高性能，增加可用性等等。我們也在考加更多的算法讓整個(gè)概率編程語(yǔ)言系統(tǒng)有更多的算法可用。

其它問(wèn)題

機(jī)器之心：您如何評(píng)價(jià)這屆 AAAI 會(huì)議中的華人力量（華人的論文數(shù)量和質(zhì)量以及代表性論文）？

李磊：現(xiàn)在人工智能領(lǐng)域的研究者越來(lái)越多，也越來(lái)越多樣化，他們研究著更多樣的問(wèn)題，產(chǎn)出著更多更好的成果，這是很好的趨勢(shì)。但作為科研工作者，我們更關(guān)注研究本身，但不關(guān)注這個(gè)研究是什么種族的人做的。當(dāng)然，我們也盡一切努力推動(dòng)中國(guó)的人工智能研究，這也是為科學(xué)進(jìn)步做貢獻(xiàn)。

機(jī)器之心：科學(xué)理念上的信仰對(duì)您搞研究重要嗎？對(duì)不同理念的研究應(yīng)該持什么態(tài)度？

李磊：之前做時(shí)間序列用貝葉斯模型多，最近幾年做自然語(yǔ)言的問(wèn)題用神經(jīng)網(wǎng)絡(luò)模型多。派別之爭(zhēng)對(duì)我來(lái)說(shuō)意義不大，但我喜歡貝葉斯模型的清晰結(jié)構(gòu)和可解釋性，也喜歡神經(jīng)網(wǎng)絡(luò)在大量標(biāo)注數(shù)據(jù)下的效果，F(xiàn)requentist 方法用得少卻不排斥。科學(xué)研究講求方法論，多樣化才有可持續(xù)性。

機(jī)器之心：在您看來(lái)人工智能現(xiàn)階段是更受限于算法還是運(yùn)算力？

李磊：人工智能模型、推理算法、計(jì)算速度一直是緊密關(guān)聯(lián)，螺旋上升的。目前三者都各自有挑戰(zhàn)。

機(jī)器之心：今日頭條在人工智能上主要有哪些方向的研究？

李磊：圍繞自然語(yǔ)言理解和圖像視覺(jué)做了一些研究，自然語(yǔ)言理解方面，比如新聞生成、自動(dòng)摘要、文本分類(lèi)、自動(dòng)問(wèn)答、評(píng)論分析；圖像視覺(jué)方面，比如視頻內(nèi)容理解、分類(lèi)、相似和重復(fù)內(nèi)容識(shí)別、物體檢測(cè)追蹤等。

機(jī)器之心：您還希望通過(guò)人工智能幫助哪些其它方向上的發(fā)展？

李磊：比如醫(yī)療監(jiān)控、輔助診斷、心理建模分析、環(huán)境變量建模分析等。

本文為機(jī)器之心原創(chuàng)，轉(zhuǎn)載請(qǐng)聯(lián)系本公眾號(hào)獲得授權(quán)。