|
來(lái)源：SigAI（SIGAICN，已經(jīng)獲授權(quán)） 什么是機(jī)器學(xué)習(xí)？ 人工智能的再次興起讓機(jī)器學(xué)習(xí)（Machine Learning）這個(gè)名詞進(jìn)入了公眾的視野，它成為當(dāng)前解決很多人工智能問(wèn)題的核心基石。 機(jī)器學(xué)習(xí)是什么？ 如果只用一句話解釋這個(gè)概念，最簡(jiǎn)單直觀的答案是：機(jī)器學(xué)習(xí)用計(jì)算機(jī)程序模擬人的學(xué)習(xí)能力，從實(shí)際例子中學(xué)習(xí)得到知識(shí)和經(jīng)驗(yàn)。 機(jī)器學(xué)習(xí)是人工智能的一個(gè)分支，也是人工智能的一種實(shí)現(xiàn)方法。它從樣本數(shù)據(jù)中學(xué)習(xí)得到知識(shí)和規(guī)律，然后用于實(shí)際的推斷和決策。它和普通程序的一個(gè)顯著區(qū)別是需要樣本數(shù)據(jù)，是一種數(shù)據(jù)驅(qū)動(dòng)的方法。 人的絕大部分智能是通過(guò)后天訓(xùn)練與學(xué)習(xí)得到的，而不是天生具有的。新生兒剛出生的時(shí)候沒(méi)有視覺(jué)和聽(tīng)覺(jué)認(rèn)知能力，在成長(zhǎng)的過(guò)程中寶寶從外界環(huán)境不斷得到信息，對(duì)大腦形成刺激，從而建立起認(rèn)知的能力。要給孩子建立“蘋(píng)果”、“香蕉”、“熊貓”這樣的抽象概念，我們需要給他/她看很多蘋(píng)果、香蕉的實(shí)例或者圖片，并反復(fù)的告訴他/她這些水果的名字。  經(jīng)過(guò)長(zhǎng)期訓(xùn)練之后，終于在孩子的大腦中形成了“蘋(píng)果”、“香蕉”這些抽象概念和知識(shí)，以后他/她就可以將這些概念運(yùn)用于眼睛看到的世界。 機(jī)器學(xué)習(xí)采用了類(lèi)似的思路。如果我們要讓人工智能程序具有識(shí)別圖像的能力，首先要收集大量的樣本圖像，并標(biāo)明這些圖像的類(lèi)別（這稱為樣本標(biāo)注，就像告訴孩子這是一個(gè)蘋(píng)果），是香蕉、蘋(píng)果，或者其他物體。然后送給算法進(jìn)行學(xué)習(xí)（這稱為訓(xùn)練），訓(xùn)練完成之后得到一個(gè)模型，這個(gè)模型是從這些樣本中總結(jié)歸納得到的知識(shí)。接下來(lái)，我們就可以用這個(gè)模型來(lái)對(duì)新的圖像進(jìn)行識(shí)別了。這種做法代表了機(jī)器學(xué)習(xí)中一類(lèi)典型的算法，稱為有監(jiān)督的學(xué)習(xí)。除此之外，還有無(wú)監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等其他類(lèi)型的算法。
機(jī)器學(xué)習(xí)并不是人工智能一開(kāi)始就采用的方法。人工智能的發(fā)展經(jīng)歷了邏輯推理，知識(shí)工程，機(jī)器學(xué)習(xí)三個(gè)階段。 第一階段的重點(diǎn)是邏輯推理，例如數(shù)學(xué)定理的證明。這類(lèi)方法采用符號(hào)邏輯來(lái)模擬人的智能。 第二階段的代表是專(zhuān)家系統(tǒng)，這類(lèi)方法為各個(gè)領(lǐng)域的問(wèn)題建立專(zhuān)家知識(shí)庫(kù)，利用這些知識(shí)來(lái)完成推理和決策。如果要讓人工智能做疾病診斷，那就要把醫(yī)生的診斷知識(shí)建成一個(gè)庫(kù)，然后用這些知識(shí)對(duì)病人進(jìn)行判斷。 把知識(shí)總結(jié)出來(lái)告訴計(jì)算機(jī)程序有時(shí)候非常困難，例如要告訴計(jì)算機(jī)怎么識(shí)別圖像和聲音。假設(shè)我們要讓程序判斷下面的圖像是否為貓：  判斷圖像是否為貓的規(guī)則該怎么描述？最笨的方法是暴力枚舉，即為每張可能的圖像對(duì)應(yīng)一個(gè)結(jié)果（是貓，不是貓），根據(jù)這個(gè)對(duì)應(yīng)規(guī)則進(jìn)行判定。對(duì)于高度和寬度都為256像素的黑白圖像，如果每個(gè)像素值的值是0-255之間的整數(shù)，根據(jù)高中學(xué)習(xí)的排列組合中的乘法原理，所有可能的圖像數(shù)量為：  這是一個(gè)天文數(shù)字，以現(xiàn)在計(jì)算機(jī)的計(jì)算和存儲(chǔ)能力是無(wú)法實(shí)現(xiàn)的。事實(shí)上我們自己也無(wú)法精確的為判斷看到的一個(gè)物體是否為貓建立一個(gè)模型，這就是所謂的只可意會(huì)不可言傳，但這不妨礙我們能識(shí)別貓。 人工知識(shí)存在的另一個(gè)問(wèn)題是不具有通用性，可擴(kuò)展性差。對(duì)每個(gè)具體問(wèn)題都要建立起規(guī)則和知識(shí)庫(kù)，實(shí)現(xiàn)成本非常高。還是以圖像識(shí)別為例，我們即使建立了怎樣判斷圖像是否為貓的規(guī)則，但這種規(guī)則不能判斷圖像是否為狗，因此我們需要為狗也建立一種規(guī)則。 授“人”以魚(yú)不如授“人”以漁 與其總結(jié)好知識(shí)告訴人工智能，還不如讓人工智能自己去學(xué)習(xí)知識(shí)。要識(shí)別貓的圖像，可以采集大量的圖像樣本，其中一類(lèi)樣本圖像為貓，另外的不是貓。然后把這些標(biāo)明了類(lèi)別的圖像送入機(jī)器學(xué)習(xí)程序中進(jìn)行訓(xùn)練。訓(xùn)練完成之后得到一個(gè)模型，之后就可以根據(jù)這個(gè)模型來(lái)判斷圖像是不是貓了。對(duì)聲音識(shí)別和其他很多問(wèn)題也可以用這樣的方法。在這里，判斷圖像是否為貓的模型是機(jī)器學(xué)習(xí)程序自己建立起來(lái)的，而不是人工設(shè)定的。顯然這種方法具有通用性，如果我們把訓(xùn)練樣本換成狗的圖像，就可以識(shí)別狗了。 從圖靈獎(jiǎng)看機(jī)器學(xué)習(xí) ACM（美國(guó)計(jì)算機(jī)協(xié)會(huì)）圖靈獎(jiǎng)是計(jì)算機(jī)領(lǐng)域的諾貝爾獎(jiǎng)，是計(jì)算機(jī)科學(xué)與工業(yè)發(fā)展史的縮影。獲獎(jiǎng)的領(lǐng)域都是計(jì)算機(jī)科學(xué)和工程的重點(diǎn)方向，如操作系統(tǒng)，CPU，網(wǎng)絡(luò)，數(shù)據(jù)庫(kù)，編譯器等。截止2017年，人工智能一共獲得了6次圖靈獎(jiǎng)，是獲獎(jiǎng)最多的領(lǐng)域之一，這6次分別是： 2010 Leslie Valiant（概率圖模型） 2010 Leslie Valiant（PAC理論） 1994 Edward Feigenbaum和Raj Reddy 1975 Allen Newell和Herbert A. Simon 1971 John McCarthy 1969 Marvin Minsky 最近兩次獲獎(jiǎng)都是機(jī)器學(xué)習(xí)領(lǐng)域的成果，這也凸顯了機(jī)器學(xué)習(xí)當(dāng)前在人工智能領(lǐng)域的地位。  Judea Pearl, UCLA 概率知識(shí)表達(dá)與因果推理  Leslie Valiant 計(jì)算學(xué)習(xí)理論 雖然機(jī)器學(xué)習(xí)這一名詞以及其中某些零碎的方法可以追溯到1958年[1]甚至更早，但真正作為一門(mén)獨(dú)立的學(xué)科要從1980年算起，在這一年誕生了第一屆機(jī)器學(xué)習(xí)的學(xué)術(shù)會(huì)議和期刊。到目前為止，機(jī)器學(xué)習(xí)的發(fā)展經(jīng)歷了3個(gè)階段： 1980年代是正式成形期，尚不具備影響力。 1990-2010年代是蓬勃發(fā)展期，誕生了眾多的理論和算法，真正走向了實(shí)用。 2012年之后是深度學(xué)習(xí)時(shí)期，深度學(xué)習(xí)技術(shù)誕生并急速發(fā)展，較好的解決了現(xiàn)階段AI的一些重點(diǎn)問(wèn)題，并帶來(lái)了產(chǎn)業(yè)界的快速發(fā)展。 * 上圖展示了過(guò)去近40年里機(jī)器學(xué)習(xí)領(lǐng)域誕生的主要算法 （重點(diǎn)是有監(jiān)督學(xué)習(xí)） 1980s：登上歷史舞臺(tái) 1980年機(jī)器學(xué)習(xí)作為一支獨(dú)立的力量登上了歷史舞臺(tái)。在這之后的10年里出現(xiàn)了一些重要的方法和理論，典型的代表是： 1984：分類(lèi)與回歸樹(shù)（CART）[2] 1986：反向傳播算法[3] 1989：卷積神經(jīng)網(wǎng)絡(luò)[4] 分類(lèi)與回歸樹(shù) 分類(lèi)與回歸樹(shù)由Breiman等人在1984年提出，是決策樹(shù)的一種經(jīng)典實(shí)現(xiàn)，至今它還在很多領(lǐng)域里被使用。決策樹(shù)是一種基于規(guī)則的方法，它由一系列嵌套的規(guī)則組成一棵樹(shù)，完成判斷和決策。和之前基于人工規(guī)則的方法不同，這里的規(guī)則是通過(guò)訓(xùn)練得到的，而不是人工總結(jié)出來(lái)的。 反向傳播算法 人工神經(jīng)網(wǎng)絡(luò)是對(duì)動(dòng)物神經(jīng)系統(tǒng)的一種簡(jiǎn)單模擬，屬于仿生方法。從數(shù)學(xué)的角度看，它是一個(gè)多層的復(fù)合函數(shù)。反向傳播算法是神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)使用的算法，來(lái)自于微積分中復(fù)合函數(shù)求導(dǎo)的鏈?zhǔn)椒▌t，至今深度學(xué)習(xí)中各種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練使用的還是這種方法。反向傳播算法的出現(xiàn)使得多層神經(jīng)網(wǎng)絡(luò)真正成為一種可以實(shí)現(xiàn)、具有實(shí)用價(jià)值的算法。在這一時(shí)期，神經(jīng)網(wǎng)絡(luò)的理論性研究也是熱門(mén)的問(wèn)題，神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)上的表達(dá)能力的分析和證明大多出現(xiàn)在1980年代末和1990年代初。 從理論上來(lái)說(shuō)，加大神經(jīng)網(wǎng)絡(luò)的規(guī)?？梢越鉀Q更復(fù)雜的模式識(shí)別等問(wèn)題。但是網(wǎng)絡(luò)層數(shù)的增加會(huì)導(dǎo)致梯度消失問(wèn)題，另外神經(jīng)網(wǎng)絡(luò)還面臨著局部最優(yōu)解的問(wèn)題。訓(xùn)練樣本的缺乏，計(jì)算能力的限制，都使得神經(jīng)網(wǎng)絡(luò)在接下來(lái)的20多年里沒(méi)有太大的進(jìn)展和出色的表現(xiàn)。 卷積神經(jīng)網(wǎng)絡(luò) 早在1989年，LeCun在貝爾實(shí)驗(yàn)室就開(kāi)始使用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別手寫(xiě)數(shù)字，這是當(dāng)前深度學(xué)習(xí)中深度卷積神經(jīng)網(wǎng)絡(luò)的鼻祖；1998年，LeCun提出了用于字符識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)LeNet5，并在手寫(xiě)數(shù)字識(shí)別中取得了較好的結(jié)果。卷積神經(jīng)網(wǎng)絡(luò)借鑒了動(dòng)物視覺(jué)神經(jīng)系統(tǒng)的原理，它能夠逐層的對(duì)輸入圖像進(jìn)行抽象和理解。  Yann LeCun 卷積網(wǎng)絡(luò)之父  在這一時(shí)期，隱馬爾科夫模型（HMM）被成功的應(yīng)用于語(yǔ)音識(shí)別，使得語(yǔ)音識(shí)別的方法由規(guī)則和模板匹配轉(zhuǎn)向機(jī)器學(xué)習(xí)這條路徑。 1990-2012：走向成熟和應(yīng)用 在這20多年里機(jī)器學(xué)習(xí)的理論和方法得到了完善和充實(shí)，可謂是百花齊放的年代。代表性的重要成果有： 1995：支持向量機(jī)（SVM）[5] 1997：AdaBoost算法[7] 1997：循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和LSTM[9] 2000：流形學(xué)習(xí)[8] 2001：隨機(jī)森林[6] SVM SVM基于最大化分類(lèi)間隔的原則，通過(guò)核函數(shù)巧妙的將線性不可分問(wèn)題轉(zhuǎn)化成線性可分問(wèn)題，并且具有非常好的泛化性能。和神經(jīng)網(wǎng)絡(luò)相比，SVM有完善的數(shù)學(xué)理論作為支撐，訓(xùn)練時(shí)求解的問(wèn)題是凸優(yōu)化問(wèn)題，因此不會(huì)出現(xiàn)局部極值問(wèn)題。  Vladimir Vapnik SVM由Vapnik在1995年提出，在誕生之后的近20年里，它在很多模式識(shí)別問(wèn)題上取得了當(dāng)時(shí)最好的性能，直到被深度學(xué)習(xí)算法打敗。 AdaBoost AdaBoost和隨機(jī)森林同屬集成學(xué)習(xí)算法，它們通過(guò)將多個(gè)弱學(xué)習(xí)器模型整合可以得到精度非常高的強(qiáng)學(xué)習(xí)器模型，且計(jì)算量非常小。AdaBoost算法在機(jī)器視覺(jué)領(lǐng)域的目標(biāo)檢測(cè)問(wèn)題上取得了成功，典型的代表是人臉檢測(cè)問(wèn)題。2001年，使用級(jí)聯(lián)AdaBoost分類(lèi)器和Haar特征的算法[14]在人臉檢測(cè)問(wèn)題上取得了巨大的進(jìn)步，是有里程碑意義的成果。此后這一框架成為目標(biāo)檢測(cè)的主流方法，直到后來(lái)被深度學(xué)習(xí)取代。  Yoav Freund Robert Schapire 循環(huán)神經(jīng)網(wǎng)絡(luò) 循環(huán)神經(jīng)網(wǎng)絡(luò)作為標(biāo)準(zhǔn)前饋型神經(jīng)網(wǎng)絡(luò)的發(fā)展，具有記憶功能，在語(yǔ)音識(shí)別、自然語(yǔ)言處理等序列問(wèn)題的建模上取得了成功，是當(dāng)前很多深度學(xué)習(xí)算法的基礎(chǔ)。 流形學(xué)習(xí) 流形學(xué)習(xí)作為一種非線性降維技術(shù)，直觀來(lái)看，它假設(shè)向量在高維空間中的分布具有一定的幾何形狀。在2000年出現(xiàn)之后的一段時(shí)間內(nèi)名噪一時(shí)，呈現(xiàn)出一片繁榮的景象，但在實(shí)際應(yīng)用方面缺乏成功的建樹(shù)。 隨機(jī)森林 隨機(jī)森林由Breiman在2001年提出，是多棵決策樹(shù)的集成，在訓(xùn)練時(shí)通過(guò)對(duì)樣本進(jìn)行隨機(jī)抽樣構(gòu)造出新的數(shù)據(jù)集訓(xùn)練每一棵決策樹(shù)。它實(shí)現(xiàn)簡(jiǎn)單，可解釋性強(qiáng)，運(yùn)算量小，在很多實(shí)際問(wèn)題上取得了相當(dāng)高的精度。時(shí)至今日，在很多數(shù)據(jù)挖掘和分析的比賽中，這類(lèi)算法還經(jīng)常成為冠軍。 Leo Breiman 隨機(jī)森林由Breiman在2001年提出 在這一時(shí)期機(jī)器學(xué)習(xí)算法真正走向了實(shí)際應(yīng)用。典型的代表是車(chē)牌識(shí)別，印刷文字識(shí)別（OCR），手寫(xiě)文字識(shí)別，人臉檢測(cè)技術(shù)（數(shù)碼相機(jī)中用于人臉對(duì)焦），搜索引擎中的自然語(yǔ)言處理技術(shù)和網(wǎng)頁(yè)排序，廣告點(diǎn)擊率預(yù)估（CTR），推薦系統(tǒng)，垃圾郵件過(guò)濾等。同時(shí)也誕生了一些專(zhuān)業(yè)的AI公司，如MobilEye，科大訊飛，文安科技，文通科技，IO Image等。 2012：深度學(xué)習(xí)時(shí)代 神經(jīng)網(wǎng)絡(luò)卷土重來(lái)？ 在與SVM的競(jìng)爭(zhēng)中，神經(jīng)網(wǎng)絡(luò)長(zhǎng)時(shí)間內(nèi)處于下風(fēng)，直到2012年局面才被改變。SVM、AdaBoost等所謂的淺層模型并不能很好的解決圖像識(shí)別，語(yǔ)音識(shí)別等復(fù)雜的問(wèn)題，在這些問(wèn)題上存在嚴(yán)重的過(guò)擬合（過(guò)擬合的表現(xiàn)是在訓(xùn)練樣本集上表現(xiàn)很好，在真正使用時(shí)表現(xiàn)很差。就像一個(gè)很機(jī)械的學(xué)生，考試時(shí)遇到自己學(xué)過(guò)的題目都會(huì)做，但對(duì)新的題目無(wú)法舉一反三）。為此我們需要更強(qiáng)大的算法，歷史又一次選擇了神經(jīng)網(wǎng)絡(luò)。 由于算法的改進(jìn)以及大量訓(xùn)練樣本的支持，加上計(jì)算能力的進(jìn)步，訓(xùn)練深層、復(fù)雜的神經(jīng)網(wǎng)絡(luò)成為可能，它們?cè)趫D像、語(yǔ)音識(shí)別等有挑戰(zhàn)性的問(wèn)題上顯示出明顯的優(yōu)勢(shì)。 Deep Thinkers on Deep Learning Russ Salakhutdinov Head of AI at Apple Rich Sutton Author of Reinforcement Learning Geoff Hinton Univ. of Toronto, Google, DL patron saint Yoshua Bengio Univ. of Montreal and head of MILA 深度學(xué)習(xí)的起源可以追溯到2006年的一篇文章[10]，Hinton等人提出了一種訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)的方法，用受限玻爾茲曼機(jī)訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的每一層，得到初始權(quán)重，然后繼續(xù)訓(xùn)練整個(gè)神經(jīng)網(wǎng)絡(luò)。2012年Hinton小組發(fā)明的深度卷積神經(jīng)網(wǎng)絡(luò)AlexNet[11]首先在圖像分類(lèi)問(wèn)題上取代成功，隨后被用于機(jī)器視覺(jué)的各種問(wèn)題上，包括通用目標(biāo)檢測(cè)，人臉檢測(cè)，行人檢測(cè)，人臉識(shí)別，圖像分割，圖像邊緣檢測(cè)等。在這些問(wèn)題上，卷積神經(jīng)網(wǎng)絡(luò)取得了當(dāng)前最好的性能。 在另一類(lèi)稱為時(shí)間序列分析的問(wèn)題上，循環(huán)神經(jīng)網(wǎng)絡(luò)取得了成功。典型的代表是語(yǔ)音識(shí)別，自然語(yǔ)言處理，使用深度循環(huán)神經(jīng)網(wǎng)絡(luò)之后，語(yǔ)音識(shí)別的準(zhǔn)確率顯著提升，直至達(dá)到實(shí)際應(yīng)用的要求。 Juergen Schmidhuber LSTM之父 歷史選擇了深度神經(jīng)網(wǎng)絡(luò)作為解決圖像、聲音識(shí)別、圍棋等復(fù)雜AI問(wèn)題的方法并非偶然，神經(jīng)網(wǎng)絡(luò)在理論上有萬(wàn)能逼近定理（universal approximation）[15]的保證： 只要神經(jīng)元的數(shù)量足夠，激活函數(shù)滿足某些數(shù)學(xué)性質(zhì)，至少包含一個(gè)隱含層的前饋型神經(jīng)網(wǎng)絡(luò)可以逼近閉區(qū)間上任意連續(xù)函數(shù)到任意指定精度。即用神經(jīng)網(wǎng)絡(luò)可以模擬出任意復(fù)雜的函數(shù)。我們要識(shí)別的圖像、語(yǔ)音數(shù)據(jù)可以看做是一個(gè)向量或者矩陣，識(shí)別算法則是這些數(shù)據(jù)到類(lèi)別值的一個(gè)映射函數(shù)。 下面來(lái)看深度學(xué)習(xí)在各個(gè)典型領(lǐng)域的進(jìn)展。人臉檢測(cè)算法在使用深度卷積神經(jīng)之后進(jìn)展迅猛，下面是FDDB數(shù)據(jù)集上各種算法的ROC曲線（這條曲線越高，算法越準(zhǔn)確）： * 各種人臉檢測(cè)算法在FDDB上的精度 （來(lái)自FDDB官網(wǎng)） 當(dāng)前最好的結(jié)果都是由深度學(xué)習(xí)算法取得。類(lèi)似的是人臉識(shí)別問(wèn)題，在LFW數(shù)據(jù)集上，深度學(xué)習(xí)算法也獨(dú)領(lǐng)風(fēng)騷： * 各種人臉識(shí)別算法在LFW數(shù)據(jù)庫(kù)上的精度 （來(lái)自LFW官網(wǎng)） 通用目標(biāo)檢測(cè)和分割是機(jī)器視覺(jué)領(lǐng)域非常有挑戰(zhàn)性的任務(wù)，它要找出圖像中各種不同類(lèi)型的目標(biāo)（如人，汽車(chē)，飛機(jī)等），確定它們的大小和位置以及輪廓。由于視角的變化，物體形狀和外觀的不同，光照的影響，遮擋等因素的存在，這類(lèi)問(wèn)題在長(zhǎng)時(shí)間內(nèi)沒(méi)有大的進(jìn)展。使用深度神經(jīng)網(wǎng)絡(luò)的算法在這一問(wèn)題上也取得了歷史性的突破。下表是VOC2012數(shù)據(jù)集上各種算法的準(zhǔn)確率：
Object Detection （TRAIN ON ADDITIONAL DATA）
Object Segmentation （TRAIN ON ADDITIONAL DATA） 在語(yǔ)音識(shí)別、自然語(yǔ)言處理等領(lǐng)域，深度學(xué)習(xí)算法同樣取得了可喜的結(jié)果。在這些領(lǐng)域的成功，直接推動(dòng)了語(yǔ)音識(shí)別、機(jī)器翻譯等技術(shù)走向?qū)嶋H應(yīng)用。 在策略、控制類(lèi)問(wèn)題上，深度強(qiáng)化學(xué)習(xí)技術(shù)取得了成功，典型的代表是AlphaGo[13]。在各種游戲、自動(dòng)駕駛等問(wèn)題上，深度強(qiáng)化學(xué)習(xí)顯示出了接近人類(lèi)甚至比人類(lèi)更強(qiáng)大的能力。 以生成對(duì)抗網(wǎng)絡(luò)（GAN）[12]為代表的深度生成框架在數(shù)據(jù)生成方面取得了驚人的效果，可以創(chuàng)造出逼真的圖像，流暢的文章，動(dòng)聽(tīng)的音樂(lè)。為解決數(shù)據(jù)生成這種“創(chuàng)作”類(lèi)問(wèn)題開(kāi)辟了一條新思路。 這一時(shí)期AI的產(chǎn)業(yè)化明顯加速，誕生了大量的創(chuàng)業(yè)公司，典型的代表有： DeepMind OpenAI 今日頭條 曠世科技 商湯科技 依圖科技 云從科技 格林深瞳 寒武紀(jì) 地平線 Yi+人工智能 第四范式 出門(mén)問(wèn)問(wèn) 深鑒科技 圖靈機(jī)器人 ...... 人工智能已經(jīng)成為當(dāng)前計(jì)算機(jī)科學(xué)領(lǐng)域最炙手可熱的方向，在這一點(diǎn)上深度學(xué)習(xí)功不可沒(méi)。而從正式誕生到真正大規(guī)模應(yīng)用，機(jī)器學(xué)習(xí)已經(jīng)走完了近40年的路。但人工智能要走的路還很長(zhǎng)，在無(wú)監(jiān)督學(xué)習(xí)等方向沒(méi)有大的進(jìn)展，深度學(xué)習(xí)還遠(yuǎn)不是終結(jié)者。正是一代又一代學(xué)術(shù)界和工業(yè)界的探索者不懈的努力，才使得人工智能發(fā)展到今天的地步，在此文的結(jié)尾我們向這些先驅(qū)者致敬！ 參考文獻(xiàn) [1] Supposedly paraphrased from: Samuel, Arthur (1959). 'Some Studies in Machine Learning Using the Game of Checkers'. IBM Journal of Research and Development. [2] Breiman, L., Friedman, J. Olshen, R. and Stone C. Classification and Regression Trees, Wadsworth, 1984. [3] David E. Rumelhart, Geoffrey E. Hinton, and Ronald J. Williams. Learning internal representations by back-propagating errors. Nature, 323(99): 533-536, 1986. [4] LeCun, B.Boser, J.S.Denker, D.Henderson, R.E.Howard, W.Hubbard, and L.D.Jackel. Backpropagation applied to handwritten zip code recognition. Neural Computation, 1989. [5] Cortes, C. and Vapnik, V. Support vector networks. Machine Learning, 20, 273-297, 1995. [6] Breiman, Leo (2001). Random Forests. Machine Learning 45 (1), 5-32. [7] Freund, Y. Boosting a weak learning algorithm by majority. Information and Computation, 1995. [8] Roweis, Sam T and Saul, Lawrence K. Nonlinear dimensionality reduction by locally linear embedding. Science, 290(5500). 2000: 2323-2326. [9] S. Hochreiter, J. Schmidhuber. Long short-term memory. Neural computation, 9(8): 1735-1780, 1997. [10] G.E.Hinton, et al. Reducing the Dimensionality of Data with Neural Networks, Science 313, 504(2006) [11] Alex Krizhevsky, Ilya Sutskever, Geoffrey E.Hinton. ImageNet Classification with Deep Convolutional Neural Networks. [12] Goodfellow Ian, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets. Advances in Neural Information Processing Systems, 2014: 2672-2680. [13] David Silver, et al. Mastering the Game of Go with Deep Neural Networks and Tree Search. Nature, 2016. [14] P.Viola and M.Jones. Rapid object detection using a boosted cascade of simple features. In Proceedings IEEE Conf. on Computer Vision and Pattern Recognition, 2001. [15] Hornik, K., Stinchcombe, M., and White, H. Multilayer feedforward networks are universal approximators. Neural Networks, 2, 359-366, 1989. |
|
|
來(lái)自： ZhouAndrew > 《AI&NewIT》
