神經(jīng)網(wǎng)絡(luò)通過(guò)訓(xùn)練和預(yù)測(cè)過(guò)程實(shí)現(xiàn)應(yīng)用。

事實(shí)上，我們很早就已經(jīng)接觸過(guò)簡(jiǎn)單的機(jī)器學(xué)習(xí)方法了，比如常用的線性回歸擬合。我們通過(guò)樣本期的數(shù)據(jù)回歸得出一個(gè)線性方程，并將新的自變量值放入方程從而產(chǎn)生未來(lái)的預(yù)測(cè)值。神經(jīng)網(wǎng)絡(luò)其實(shí)也是通過(guò)類似的訓(xùn)練和預(yù)測(cè)過(guò)程實(shí)現(xiàn)應(yīng)用的，但是線性擬合通過(guò)最小化離差平方和獲得一個(gè)矩陣方程的解，并得出一條直線；神經(jīng)網(wǎng)絡(luò)（尤其是深度神經(jīng)網(wǎng)絡(luò)）則通過(guò)每一層的權(quán)重調(diào)整幾乎可以實(shí)現(xiàn)任何形式的函數(shù)擬合，在數(shù)據(jù)量和計(jì)算上的要求都是天文數(shù)字級(jí)別的差異。

訓(xùn)練環(huán)節(jié)對(duì)性能要求高，預(yù)測(cè)環(huán)節(jié)對(duì)簡(jiǎn)單指令重復(fù)計(jì)算和低延遲度要求高。

用一個(gè)具體例子進(jìn)行演示，我們的目標(biāo)是讓神經(jīng)網(wǎng)絡(luò)能夠自動(dòng)判斷一張黑白圖片上是否顯示了6這個(gè)數(shù)字。首先，我們輸入的數(shù)據(jù)為圖中像素點(diǎn)是否為黑，黑則為1，白則為0。一系列的0與1經(jīng)過(guò)層層加權(quán)和計(jì)算到達(dá)輸出層，將得到的激勵(lì)值代入到激勵(lì)值函數(shù)中，如果認(rèn)為圖像是6（比如激勵(lì)值超過(guò)1）則輸出1，反之為0，。當(dāng)輸出結(jié)果不滿足我們預(yù)期的時(shí)候，算法就會(huì)對(duì)網(wǎng)絡(luò)神經(jīng)元之間的權(quán)重進(jìn)行調(diào)整，從而更好地貼近真實(shí)情況（比如，讓真實(shí)圖像為6的網(wǎng)絡(luò)輸出趨近于1）。

深度學(xué)習(xí)需要提取學(xué)習(xí)更復(fù)雜的特征，對(duì)數(shù)據(jù)量和并行計(jì)算能力的需求指數(shù)級(jí)上升。

深度學(xué)習(xí)通常是訓(xùn)練含有多個(gè)隱藏層的人工神經(jīng)網(wǎng)絡(luò)，豐富的層次結(jié)構(gòu)算法具有更優(yōu)異的特征學(xué)習(xí)能力，可以學(xué)習(xí)更復(fù)雜的內(nèi)容，學(xué)習(xí)得到的特征對(duì)數(shù)據(jù)有更本質(zhì)的刻畫(huà)。以一幅油畫(huà)的識(shí)別分類為例，當(dāng)隱藏層為1層時(shí)，我們能掌握的可能是像素點(diǎn)的顏色分布信息（比如在某些地方組成某些線條、塊狀、明暗等）；而加上1層隱藏層后，我們可以獲得這些線條和明暗組合的一些特征，隨著層數(shù)的加深，油畫(huà)中的物體、布局甚至是畫(huà)派風(fēng)格的特征都可以進(jìn)行表示。通過(guò)輸入大量魯本斯在17世紀(jì)初期創(chuàng)作的巴洛克風(fēng)格油畫(huà)進(jìn)行訓(xùn)練，網(wǎng)絡(luò)最終可以對(duì)某一幅油畫(huà)是否是魯本斯在17世紀(jì)初期所作的巴洛克風(fēng)格油畫(huà)做出判斷。

現(xiàn)實(shí)應(yīng)用場(chǎng)景動(dòng)態(tài)且復(fù)雜，在算力方面根據(jù)應(yīng)用場(chǎng)景和過(guò)程的區(qū)別，對(duì)實(shí)時(shí)性、響應(yīng)速度、準(zhǔn)確率提出了更高要求。

現(xiàn)實(shí)場(chǎng)景的應(yīng)用比靜態(tài)圖像識(shí)別復(fù)雜許多，比如開(kāi)發(fā)出AlphaGo的人工智能公司DeepMind公開(kāi)了訓(xùn)練中的會(huì)“漂移”的機(jī)器人，可以自行收集復(fù)雜多變的環(huán)境信息，學(xué)習(xí)人類的運(yùn)動(dòng)行為從而實(shí)現(xiàn)障礙跑、跳舞等行為。Amazon Go通過(guò)傳感器與視頻監(jiān)控獲得線下消費(fèi)者的身份和購(gòu)買動(dòng)作，實(shí)現(xiàn)用戶動(dòng)作行為識(shí)別和人臉識(shí)別，相匹配后產(chǎn)生海量有價(jià)值的消費(fèi)者行為信息。因此，按照訓(xùn)練、預(yù)測(cè)的過(guò)程以及應(yīng)用場(chǎng)景的不同，AI計(jì)算對(duì)于底層算力的要求也是不同的，提供算力的處理器也因此在功耗、效率和可編輯性等多方面走出了不同的道路。

大數(shù)據(jù)獲取能力、算力和對(duì)多層次神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法的不足，使得深度學(xué)習(xí)應(yīng)用的繁榮延遲至今。

其實(shí)人工智能以及深度學(xué)習(xí)的很多基礎(chǔ)算法在20世紀(jì)60年代就已經(jīng)比較成熟了，包括現(xiàn)在被廣泛應(yīng)用的反向傳播算法（BP）在80年代就已經(jīng)達(dá)到了算法的繁榮期，之所以在當(dāng)初沒(méi)有像現(xiàn)在這樣站上風(fēng)口，一方面源于當(dāng)時(shí)算力不足、用于訓(xùn)練的數(shù)據(jù)量不夠以及訓(xùn)練方法的缺失，另一方面也因?yàn)锳I在當(dāng)時(shí)有一定的應(yīng)用，但迫切性和現(xiàn)在還無(wú)法比擬。

場(chǎng)景方面，人工智能早期應(yīng)用和生活場(chǎng)景的結(jié)合比較少，比較成功的應(yīng)用包括搜索廣告系統(tǒng)（比如Google的AdWords）、網(wǎng)頁(yè)搜索排序（例如Yahoo!和微軟的搜索引擎）、垃圾郵件過(guò)濾系統(tǒng)、部分語(yǔ)音機(jī)器人等。而在如今，智能無(wú)處不在，場(chǎng)景的縱深相比之前有了很大擴(kuò)充，一方面源于產(chǎn)品和場(chǎng)景的豐富、人類需求的升級(jí)提供了智能應(yīng)用的場(chǎng)景，另一方面也源于生產(chǎn)效率已經(jīng)走向一個(gè)瓶頸，依靠人力成本投入等方式增加產(chǎn)出的方式越來(lái)越不效率，倒逼生產(chǎn)力向智能化改造。