更多干貨文章請(qǐng)關(guān)注公眾號(hào)“AI 前線”,ID:ai-front 時(shí)間: 訓(xùn)練一個(gè)像卷積神經(jīng)網(wǎng)絡(luò)(CNN)或循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)這樣的深度網(wǎng)絡(luò)所需要的時(shí)間可以達(dá)到數(shù)周。這還不包括定義問(wèn)題,以及在深度網(wǎng)絡(luò)達(dá)到所需性能閾值之前,對(duì)其進(jìn)行編程的過(guò)程中不斷的成功和失敗所耗費(fèi)的時(shí)間。 花費(fèi): 在上百臺(tái) GPU 上進(jìn)行連續(xù)數(shù)周的計(jì)算是十分昂貴的。從亞馬遜的云計(jì)算服務(wù)租賃 800 臺(tái) GPU 使用一周的時(shí)間,訂價(jià)就要大概 12 萬(wàn)美金。這還沒(méi)開始計(jì)算人力成本。啟動(dòng)一個(gè) AI 項(xiàng)目可能意味著要聘用成本最高的人才幾個(gè)月或一年或更多的時(shí)間。 數(shù)據(jù): 在許多情況下,無(wú)法獲得足夠數(shù)量的有標(biāo)記數(shù)據(jù),會(huì)導(dǎo)致項(xiàng)目無(wú)法開始。有許多好點(diǎn)子都由于無(wú)法負(fù)擔(dān)訓(xùn)練數(shù)據(jù)的價(jià)格,而失去了探索的機(jī)會(huì)。 所以,我們主要在涉及圖像處理、文本和語(yǔ)音識(shí)別的商業(yè)領(lǐng)域取得了良好進(jìn)展,然而這些初創(chuàng)公司往往利用了谷歌、IBM、微軟和其他大公司的工作,這些大公司提供了許多訓(xùn)練好的圖像和語(yǔ)音模型,可以通過(guò) API 使用。 如果你一直在跟進(jìn)該領(lǐng)域的進(jìn)展,你會(huì)發(fā)現(xiàn)我們使用 CNN 和 RNN 已經(jīng)向前沖出了一段,但是超越這些應(yīng)用的進(jìn)展現(xiàn)在才剛剛出現(xiàn)。下一波進(jìn)步浪潮將來(lái)自于生成對(duì)抗網(wǎng)絡(luò)(GAN)以及增強(qiáng)學(xué)習(xí)(Reinforcement Learning),以及一些像 IBM Waston 那樣的認(rèn)知計(jì)算系統(tǒng)的助力。我們最近的文章《人工智能的三個(gè)時(shí)代——我們現(xiàn)在在哪里》中對(duì)此進(jìn)行了總結(jié)。 以下是關(guān)于我們?cè)撊绾吻斑M(jìn)的最常見的愿景。用我們所知道的;從我們現(xiàn)在常用的 CNN 和 RNN 中將演化出越來(lái)越復(fù)雜的具有不同結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)。我們只需要讓它們運(yùn)行的更快。 事實(shí)上,盡管未來(lái)可能完全不同。我們看到的是在人工智能的未來(lái),基于完全不同技術(shù)的三方競(jìng)賽正在逐漸成形。它們分別是:
其中之一,高性能計(jì)算是我們今天所看到的主要焦點(diǎn)。芯片制造商之間正在激烈競(jìng)爭(zhēng),還有一些諸如谷歌這樣的不太像芯片廠家的非硬件用戶,也在為了加速深度學(xué)習(xí)而開發(fā)芯片。而另外兩個(gè),神經(jīng)形態(tài),也稱作脈沖神經(jīng)網(wǎng)絡(luò),以及量子計(jì)算,聽起來(lái)似乎是很遙遠(yuǎn)的事情。然而事實(shí)是,如今已經(jīng)有商用的神經(jīng)形態(tài)芯片和量子計(jì)算機(jī)在可操作的機(jī)器學(xué)習(xí)中投入使用。 這可以是冰山一角,也可以是帳篷下的駱駝鼻子,取決于你喜歡哪個(gè)比喻了。無(wú)論是熱的還是冷的說(shuō)法,這兩種新技術(shù)都會(huì)顛覆人工智能的一條看似筆直的道路,但是是以一種良性的方式顛覆了它。 大家一直最關(guān)注的方向是高性能計(jì)算。它專注于已知的深度神經(jīng)網(wǎng)絡(luò)架構(gòu),致力于讓它們運(yùn)行地更快并且更容易訪問(wèn)。 基本上這意味著兩點(diǎn):更好的通用環(huán)境,例如 TensorFlow,以及在越來(lái)越大的數(shù)據(jù)中心對(duì) GPU 和 FPGA 更有效的利用,并且更專業(yè)的芯片有望出現(xiàn)在不遠(yuǎn)的將來(lái)。 人工智能領(lǐng)域中,新的商業(yè)模式是“開源”。在 2016 年頭六個(gè)月,也就在 12 個(gè)月前,幾乎人工智能領(lǐng)域的每一個(gè)主要參與者都開源了他們的人工智能平臺(tái)。他們都是競(jìng)爭(zhēng)對(duì)手,擁有在數(shù)據(jù)中心、云服務(wù)和智能 IP 的巨大投資。開源背后的策略很簡(jiǎn)單,擁有最多用戶(平臺(tái)采用人數(shù))的平臺(tái)獲勝。 當(dāng)英特爾、NVIDIA 等傳統(tǒng)芯片廠商紛紛從 GPU 的新需求中盈利時(shí),其他公司,例如谷歌和微軟,正在探索全新的領(lǐng)域,他們自主開發(fā)專有芯片,使他們自己的深度學(xué)習(xí)平臺(tái)更快或更受歡迎一些。 谷歌用 TensorFlow 作為其功能強(qiáng)大的、通用的解決方案,與最新公布的專用芯片 TPU(張量處理單元)相結(jié)合打出了漂亮的一拳。 微軟一直在大力宣揚(yáng)其使用的是非專有的 FPGA,并且他們剛剛發(fā)布微軟認(rèn)知工具包(CNTK)的專業(yè) 2.0 升級(jí)。CNTK 提供了一個(gè) java API,可將 Spark 直接集成進(jìn)來(lái)。它支持 Keras 框架下完成的代碼,Keras 是 TensorFlow 的主要競(jìng)爭(zhēng)對(duì)手,基本上是 TensorFlow 的一個(gè)前端,便于用戶從谷歌遷移過(guò)來(lái)。據(jù)報(bào)道,CNTK 要比 TensorFlow 更快,并且更準(zhǔn)確,而且也提供了 Python API。 Spark 集成將繼續(xù)成為一個(gè)重要的驅(qū)動(dòng)力。雅虎已經(jīng)把 TensorFlow 集成到 Spark 平臺(tái)。Spark 的主要商業(yè)服務(wù)提供商 Databricks 現(xiàn)在已經(jīng)有自己的開源軟件包,將深度學(xué)習(xí)和 Spark 集成起來(lái)。 問(wèn)題在于,就像摩爾定律的限制,這些進(jìn)步能將我們帶去多遠(yuǎn)的未來(lái)。他們現(xiàn)如今已經(jīng)十分普遍,但他們將繼續(xù)前進(jìn)。他們足以讓我們進(jìn)入 GAN 和強(qiáng)化學(xué)習(xí)的階段嗎?也許是的,至少我們現(xiàn)在知道如何使用這些深度學(xué)習(xí)架構(gòu)。 模擬神經(jīng)形態(tài)計(jì)算或神經(jīng)脈沖網(wǎng)絡(luò)正處在通往強(qiáng)人工智能的道路上,它們基于對(duì)大腦實(shí)際工作方式的一些觀察來(lái)對(duì)網(wǎng)絡(luò)進(jìn)行設(shè)計(jì)。這種方式與我們目前所設(shè)計(jì)的深度神經(jīng)網(wǎng)絡(luò)工作的方式明顯不同。 首先,研究人員觀察到,大腦中并不是所有的神經(jīng)元每一次都會(huì)響應(yīng)。神經(jīng)元發(fā)出選擇性信號(hào)沿網(wǎng)路下傳,數(shù)據(jù)實(shí)際上是在信號(hào)的電位峰值中以某種方式編碼的。其實(shí)這些信號(hào)由一系列峰值組成,所以目前主要研究信息是否在振幅、頻率編碼,或峰值之間的延遲中編碼,或者三者皆有。 在我們現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)中,所有神經(jīng)元每次都按照相對(duì)簡(jiǎn)單的激活函數(shù),Sigmoid 或者 ReLU 進(jìn)行響應(yīng)。 由于不是所有的“神經(jīng)元”每次都要響應(yīng),一個(gè)簡(jiǎn)單的脈沖神經(jīng)網(wǎng)絡(luò)神經(jīng)元可以取代傳統(tǒng)的深度網(wǎng)絡(luò)中上百個(gè)神經(jīng)元,從而在網(wǎng)絡(luò)的能力和大小上都得到更高的效率。 早期的例子表明,它們可以從環(huán)境中只使用無(wú)監(jiān)督技術(shù)(沒(méi)有標(biāo)注樣例)進(jìn)行學(xué)習(xí),樣例越少,學(xué)的越快。 它們可以泛化它們的環(huán)境,從一個(gè)環(huán)境中學(xué)習(xí)并將其應(yīng)用到另一個(gè)。它們能記憶并泛化,這是一個(gè)真正的能力突破。 它們的能量效率更高,為網(wǎng)絡(luò)模型小型化開辟了一條道路。 因此,改變這種基本架構(gòu)可以解決今天深度學(xué)習(xí)所面臨的所有三個(gè)基本問(wèn)題。 最重要的是,現(xiàn)在就已經(jīng)可以購(gòu)買并使用模擬神經(jīng)形態(tài)的脈沖神經(jīng)網(wǎng)絡(luò)系統(tǒng)了,它不是一項(xiàng)未來(lái)的技術(shù)。 BrainChip 控股公司(加利福尼亞州,Aliso Viejo 區(qū))已經(jīng)在拉斯維加斯最大的賭場(chǎng)之一推出了商業(yè)安全監(jiān)控系統(tǒng),并且宣布了將要交付的其他應(yīng)用程序。在拉斯維加斯,它的功能是通過(guò)監(jiān)視標(biāo)準(zhǔn)監(jiān)控?cái)z像機(jī)的視頻流來(lái)直觀地、自動(dòng)地檢測(cè)發(fā)牌員的錯(cuò)誤。它完全通過(guò)觀察來(lái)學(xué)習(xí)游戲規(guī)則。 BrainChip 是一個(gè)在澳大利亞證券交易所(ASX:BRN)上市的公司,為他們所研發(fā)的脈沖網(wǎng)絡(luò)技術(shù)申請(qǐng)了知識(shí)產(chǎn)權(quán)專利保護(hù)。它正在推出一系列自己的賭博監(jiān)控產(chǎn)品,同時(shí)在為其知識(shí)產(chǎn)權(quán)尋求許可協(xié)議。 是的,這項(xiàng)技術(shù)還需要許多改進(jìn),但對(duì)于目前的人工智能開發(fā)來(lái)說(shuō),脈沖神經(jīng)網(wǎng)絡(luò)已經(jīng)成為一個(gè)商業(yè)現(xiàn)實(shí)和選擇。 關(guān)于量子計(jì)算的一些你可能沒(méi)有意識(shí)到的事:
因此,量子仍然代表了第三條通往強(qiáng)人工智能的道路,并且克服了速度和成本問(wèn)題。 事實(shí)上,神經(jīng)形態(tài)計(jì)算和量子計(jì)算正在鋪設(shè)通往深度學(xué)習(xí),甚至是更快或者更簡(jiǎn)單的新版本人工智能的競(jìng)爭(zhēng)路線。
我個(gè)人感覺(jué),對(duì)于量子計(jì)算和神經(jīng)形態(tài)計(jì)算,我們目前所在的時(shí)間點(diǎn)就像 2007 年,那年谷歌的大計(jì)劃是開源的 Hadoop。起初我們并不知道該怎么用它,但三年后,Hadoop 在很大程度上接管了數(shù)據(jù)科學(xué)的進(jìn)步。我想從現(xiàn)在開始,未來(lái)三年也將會(huì)有令人吃驚的發(fā)展。 查看英文原文: https://www./profiles/blogs/the-three-way-race-to-the-future-of-ai-quantum-vs-neuromorphic-vs Bill Vorhies 是數(shù)據(jù)科學(xué)中心的編輯部主任,自 2001 起成為數(shù)據(jù)科學(xué)家和商業(yè)預(yù)測(cè)建模師。 聯(lián)系作者:Bill@DataScienceCentral.com |
|
來(lái)自: 長(zhǎng)沙7喜 > 《智能技術(shù)》