一区二区三区日韩精品-日韩经典一区二区三区-五月激情综合丁香婷婷-欧美精品中文字幕专区

分享

通往人工智能未來(lái)的三路競(jìng)賽:量子vs.神經(jīng)形態(tài)vs.高性能計(jì)算

 長(zhǎng)沙7喜 2017-11-29


作者|Bill Vorhies
譯者|馬卓奇
編輯|Emily
有三種技術(shù)正在相競(jìng)為人工智能帶來(lái)更快、更簡(jiǎn)單、更廉價(jià)以及更聰明的未來(lái)。如今,高性能計(jì)算機(jī)已經(jīng)是很容易得到的資源,不過(guò)量子計(jì)算機(jī)和模仿神經(jīng)狀態(tài)的脈沖神經(jīng)網(wǎng)絡(luò)的新商業(yè)版也是如此。這兩個(gè)新的進(jìn)入者將從現(xiàn)在開始徹底改變?nèi)斯ぶ悄芎蜕疃葘W(xué)習(xí)。

更多干貨文章請(qǐng)關(guān)注公眾號(hào)“AI 前線”,ID:ai-front
人工智能和深度學(xué)習(xí)目前存在的三個(gè)問(wèn)題


時(shí)間: 訓(xùn)練一個(gè)像卷積神經(jīng)網(wǎng)絡(luò)(CNN)或循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)這樣的深度網(wǎng)絡(luò)所需要的時(shí)間可以達(dá)到數(shù)周。這還不包括定義問(wèn)題,以及在深度網(wǎng)絡(luò)達(dá)到所需性能閾值之前,對(duì)其進(jìn)行編程的過(guò)程中不斷的成功和失敗所耗費(fèi)的時(shí)間。

花費(fèi): 在上百臺(tái) GPU 上進(jìn)行連續(xù)數(shù)周的計(jì)算是十分昂貴的。從亞馬遜的云計(jì)算服務(wù)租賃 800 臺(tái) GPU 使用一周的時(shí)間,訂價(jià)就要大概 12 萬(wàn)美金。這還沒(méi)開始計(jì)算人力成本。啟動(dòng)一個(gè) AI 項(xiàng)目可能意味著要聘用成本最高的人才幾個(gè)月或一年或更多的時(shí)間。

數(shù)據(jù): 在許多情況下,無(wú)法獲得足夠數(shù)量的有標(biāo)記數(shù)據(jù),會(huì)導(dǎo)致項(xiàng)目無(wú)法開始。有許多好點(diǎn)子都由于無(wú)法負(fù)擔(dān)訓(xùn)練數(shù)據(jù)的價(jià)格,而失去了探索的機(jī)會(huì)。

所以,我們主要在涉及圖像處理、文本和語(yǔ)音識(shí)別的商業(yè)領(lǐng)域取得了良好進(jìn)展,然而這些初創(chuàng)公司往往利用了谷歌、IBM、微軟和其他大公司的工作,這些大公司提供了許多訓(xùn)練好的圖像和語(yǔ)音模型,可以通過(guò) API 使用。


人工智能未來(lái)的三路競(jìng)賽


如果你一直在跟進(jìn)該領(lǐng)域的進(jìn)展,你會(huì)發(fā)現(xiàn)我們使用 CNN 和 RNN 已經(jīng)向前沖出了一段,但是超越這些應(yīng)用的進(jìn)展現(xiàn)在才剛剛出現(xiàn)。下一波進(jìn)步浪潮將來(lái)自于生成對(duì)抗網(wǎng)絡(luò)(GAN)以及增強(qiáng)學(xué)習(xí)(Reinforcement Learning),以及一些像 IBM Waston 那樣的認(rèn)知計(jì)算系統(tǒng)的助力。我們最近的文章《人工智能的三個(gè)時(shí)代——我們現(xiàn)在在哪里》中對(duì)此進(jìn)行了總結(jié)。

以下是關(guān)于我們?cè)撊绾吻斑M(jìn)的最常見的愿景。用我們所知道的;從我們現(xiàn)在常用的 CNN 和 RNN 中將演化出越來(lái)越復(fù)雜的具有不同結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)。我們只需要讓它們運(yùn)行的更快。

事實(shí)上,盡管未來(lái)可能完全不同。我們看到的是在人工智能的未來(lái),基于完全不同技術(shù)的三方競(jìng)賽正在逐漸成形。它們分別是:

  1. 高性能計(jì)算(HPC)

  2. 神經(jīng)形態(tài)計(jì)算(NC)

  3. 量子計(jì)算(QC)

其中之一,高性能計(jì)算是我們今天所看到的主要焦點(diǎn)。芯片制造商之間正在激烈競(jìng)爭(zhēng),還有一些諸如谷歌這樣的不太像芯片廠家的非硬件用戶,也在為了加速深度學(xué)習(xí)而開發(fā)芯片。而另外兩個(gè),神經(jīng)形態(tài),也稱作脈沖神經(jīng)網(wǎng)絡(luò),以及量子計(jì)算,聽起來(lái)似乎是很遙遠(yuǎn)的事情。然而事實(shí)是,如今已經(jīng)有商用的神經(jīng)形態(tài)芯片和量子計(jì)算機(jī)在可操作的機(jī)器學(xué)習(xí)中投入使用。

這可以是冰山一角,也可以是帳篷下的駱駝鼻子,取決于你喜歡哪個(gè)比喻了。無(wú)論是熱的還是冷的說(shuō)法,這兩種新技術(shù)都會(huì)顛覆人工智能的一條看似筆直的道路,但是是以一種良性的方式顛覆了它。


高性能計(jì)算(HPC)


大家一直最關(guān)注的方向是高性能計(jì)算。它專注于已知的深度神經(jīng)網(wǎng)絡(luò)架構(gòu),致力于讓它們運(yùn)行地更快并且更容易訪問(wèn)。

基本上這意味著兩點(diǎn):更好的通用環(huán)境,例如 TensorFlow,以及在越來(lái)越大的數(shù)據(jù)中心對(duì) GPU 和 FPGA 更有效的利用,并且更專業(yè)的芯片有望出現(xiàn)在不遠(yuǎn)的將來(lái)。

人工智能領(lǐng)域中,新的商業(yè)模式是“開源”。在 2016 年頭六個(gè)月,也就在 12 個(gè)月前,幾乎人工智能領(lǐng)域的每一個(gè)主要參與者都開源了他們的人工智能平臺(tái)。他們都是競(jìng)爭(zhēng)對(duì)手,擁有在數(shù)據(jù)中心、云服務(wù)和智能 IP 的巨大投資。開源背后的策略很簡(jiǎn)單,擁有最多用戶(平臺(tái)采用人數(shù))的平臺(tái)獲勝。

當(dāng)英特爾、NVIDIA 等傳統(tǒng)芯片廠商紛紛從 GPU 的新需求中盈利時(shí),其他公司,例如谷歌和微軟,正在探索全新的領(lǐng)域,他們自主開發(fā)專有芯片,使他們自己的深度學(xué)習(xí)平臺(tái)更快或更受歡迎一些。

谷歌用 TensorFlow 作為其功能強(qiáng)大的、通用的解決方案,與最新公布的專用芯片 TPU(張量處理單元)相結(jié)合打出了漂亮的一拳。

微軟一直在大力宣揚(yáng)其使用的是非專有的 FPGA,并且他們剛剛發(fā)布微軟認(rèn)知工具包(CNTK)的專業(yè) 2.0 升級(jí)。CNTK 提供了一個(gè) java API,可將 Spark 直接集成進(jìn)來(lái)。它支持 Keras 框架下完成的代碼,Keras 是 TensorFlow 的主要競(jìng)爭(zhēng)對(duì)手,基本上是 TensorFlow 的一個(gè)前端,便于用戶從谷歌遷移過(guò)來(lái)。據(jù)報(bào)道,CNTK 要比 TensorFlow 更快,并且更準(zhǔn)確,而且也提供了 Python API。

Spark 集成將繼續(xù)成為一個(gè)重要的驅(qū)動(dòng)力。雅虎已經(jīng)把 TensorFlow 集成到 Spark 平臺(tái)。Spark 的主要商業(yè)服務(wù)提供商 Databricks 現(xiàn)在已經(jīng)有自己的開源軟件包,將深度學(xué)習(xí)和 Spark 集成起來(lái)。

問(wèn)題在于,就像摩爾定律的限制,這些進(jìn)步能將我們帶去多遠(yuǎn)的未來(lái)。他們現(xiàn)如今已經(jīng)十分普遍,但他們將繼續(xù)前進(jìn)。他們足以讓我們進(jìn)入 GAN 和強(qiáng)化學(xué)習(xí)的階段嗎?也許是的,至少我們現(xiàn)在知道如何使用這些深度學(xué)習(xí)架構(gòu)。


模擬神經(jīng)形態(tài)計(jì)算(NC)或神經(jīng)脈沖網(wǎng)絡(luò)(SNN)


模擬神經(jīng)形態(tài)計(jì)算或神經(jīng)脈沖網(wǎng)絡(luò)正處在通往強(qiáng)人工智能的道路上,它們基于對(duì)大腦實(shí)際工作方式的一些觀察來(lái)對(duì)網(wǎng)絡(luò)進(jìn)行設(shè)計(jì)。這種方式與我們目前所設(shè)計(jì)的深度神經(jīng)網(wǎng)絡(luò)工作的方式明顯不同。

首先,研究人員觀察到,大腦中并不是所有的神經(jīng)元每一次都會(huì)響應(yīng)。神經(jīng)元發(fā)出選擇性信號(hào)沿網(wǎng)路下傳,數(shù)據(jù)實(shí)際上是在信號(hào)的電位峰值中以某種方式編碼的。其實(shí)這些信號(hào)由一系列峰值組成,所以目前主要研究信息是否在振幅、頻率編碼,或峰值之間的延遲中編碼,或者三者皆有。

在我們現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)中,所有神經(jīng)元每次都按照相對(duì)簡(jiǎn)單的激活函數(shù),Sigmoid 或者 ReLU 進(jìn)行響應(yīng)。

由于不是所有的“神經(jīng)元”每次都要響應(yīng),一個(gè)簡(jiǎn)單的脈沖神經(jīng)網(wǎng)絡(luò)神經(jīng)元可以取代傳統(tǒng)的深度網(wǎng)絡(luò)中上百個(gè)神經(jīng)元,從而在網(wǎng)絡(luò)的能力和大小上都得到更高的效率。

早期的例子表明,它們可以從環(huán)境中只使用無(wú)監(jiān)督技術(shù)(沒(méi)有標(biāo)注樣例)進(jìn)行學(xué)習(xí),樣例越少,學(xué)的越快。

它們可以泛化它們的環(huán)境,從一個(gè)環(huán)境中學(xué)習(xí)并將其應(yīng)用到另一個(gè)。它們能記憶并泛化,這是一個(gè)真正的能力突破。

它們的能量效率更高,為網(wǎng)絡(luò)模型小型化開辟了一條道路。

因此,改變這種基本架構(gòu)可以解決今天深度學(xué)習(xí)所面臨的所有三個(gè)基本問(wèn)題。

最重要的是,現(xiàn)在就已經(jīng)可以購(gòu)買并使用模擬神經(jīng)形態(tài)的脈沖神經(jīng)網(wǎng)絡(luò)系統(tǒng)了,它不是一項(xiàng)未來(lái)的技術(shù)。

BrainChip 控股公司(加利福尼亞州,Aliso Viejo 區(qū))已經(jīng)在拉斯維加斯最大的賭場(chǎng)之一推出了商業(yè)安全監(jiān)控系統(tǒng),并且宣布了將要交付的其他應(yīng)用程序。在拉斯維加斯,它的功能是通過(guò)監(jiān)視標(biāo)準(zhǔn)監(jiān)控?cái)z像機(jī)的視頻流來(lái)直觀地、自動(dòng)地檢測(cè)發(fā)牌員的錯(cuò)誤。它完全通過(guò)觀察來(lái)學(xué)習(xí)游戲規(guī)則。

BrainChip 是一個(gè)在澳大利亞證券交易所(ASX:BRN)上市的公司,為他們所研發(fā)的脈沖網(wǎng)絡(luò)技術(shù)申請(qǐng)了知識(shí)產(chǎn)權(quán)專利保護(hù)。它正在推出一系列自己的賭博監(jiān)控產(chǎn)品,同時(shí)在為其知識(shí)產(chǎn)權(quán)尋求許可協(xié)議。

是的,這項(xiàng)技術(shù)還需要許多改進(jìn),但對(duì)于目前的人工智能開發(fā)來(lái)說(shuō),脈沖神經(jīng)網(wǎng)絡(luò)已經(jīng)成為一個(gè)商業(yè)現(xiàn)實(shí)和選擇。


量子計(jì)算


關(guān)于量子計(jì)算的一些你可能沒(méi)有意識(shí)到的事:

  • 如今,量子計(jì)算已經(jīng)可供人們使用,并且自從 2010 年起,Lockheed Martin 一直將其投入商業(yè)使用。其他幾家公司正在推出的商業(yè)應(yīng)用都是基于 D-Wave 量子計(jì)算機(jī)的,這是第一個(gè)商業(yè)市場(chǎng)。D-Wave 近期每年都將它的量子計(jì)算機(jī)的規(guī)模擴(kuò)大一倍,并且有望繼續(xù)這樣做。

  • 五月份,IBM 宣布其量子計(jì)算機(jī) IBM Q 的商業(yè)可用性。這是一個(gè)基于云的訂閱服務(wù),這無(wú)疑在引導(dǎo)著行業(yè)向簡(jiǎn)化訪問(wèn)其他昂貴或復(fù)雜機(jī)器的方向發(fā)展。IBM 表示,到目前為止,用戶已經(jīng)在他們的機(jī)器上運(yùn)行了 300000 個(gè)實(shí)驗(yàn)。

  • 在接下來(lái)的兩到三年里,谷歌和微軟將在市面上發(fā)行他們自己的量子計(jì)算機(jī),作為個(gè)人或?qū)W術(shù)機(jī)構(gòu)的一套完整的服務(wù)器。

  • 由 D-Wave 和一些獨(dú)立的研究人員引入的開源編程語(yǔ)言可以使這些設(shè)備的編程更容易。

  • 量子計(jì)算機(jī)擅長(zhǎng)各類優(yōu)化問(wèn)題,包括基于隨機(jī)梯度下降方法的所有算法。他們可以輕易模仿受限玻爾茲曼機(jī),你可以將其視為深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)之一,并且它們目前正在深度學(xué)習(xí)配置中使用,像卷積神經(jīng)網(wǎng)絡(luò)(CNN)一樣進(jìn)行圖像分類的任務(wù)。由于一些結(jié)構(gòu)差異,我們需要區(qū)分這類網(wǎng)絡(luò)為量子神經(jīng)網(wǎng)絡(luò)(QNN)。

  • 據(jù) 2015 年由谷歌對(duì) D-Wave 的量子計(jì)算機(jī)與傳統(tǒng)計(jì)算機(jī)的基準(zhǔn)實(shí)驗(yàn)研究報(bào)告表明,量子計(jì)算機(jī)的性能優(yōu)于傳統(tǒng)的臺(tái)式計(jì)算機(jī) 108 倍,速度上快了一億倍。Hartmut Nevan 是谷歌的工程總監(jiān),在一個(gè)新聞發(fā)布會(huì)上宣布了基準(zhǔn)實(shí)驗(yàn)結(jié)果。他介紹說(shuō),“D-Wave 一秒鐘完成的工作需要花費(fèi)傳統(tǒng)的計(jì)算機(jī)一萬(wàn)年的時(shí)間?!?/p>

因此,量子仍然代表了第三條通往強(qiáng)人工智能的道路,并且克服了速度和成本問(wèn)題。


如何擺脫這些問(wèn)題?


事實(shí)上,神經(jīng)形態(tài)計(jì)算和量子計(jì)算正在鋪設(shè)通往深度學(xué)習(xí),甚至是更快或者更簡(jiǎn)單的新版本人工智能的競(jìng)爭(zhēng)路線。

  1. 首先,時(shí)間線。高性能計(jì)算今天已經(jīng)成為現(xiàn)實(shí),并且基于新研發(fā)的芯片,在接下來(lái)的幾年可能會(huì)繼續(xù)提高其性能。然而,對(duì)其新工廠和數(shù)據(jù)中心的巨額投資可能會(huì)由于量子計(jì)算和神經(jīng)形態(tài)計(jì)算的飛速進(jìn)展而很快中斷。

  2. 深度學(xué)習(xí)平臺(tái)。以谷歌的 TensorFlow 和微軟的 Cognitive Toolkit(CNTK)為例,如今它們已經(jīng)被廣泛使用,但毫無(wú)疑問(wèn),其他競(jìng)爭(zhēng)對(duì)手也將努力爭(zhēng)取最多的用戶。隨著量子計(jì)算和神經(jīng)形態(tài)計(jì)算功能的普及,這一點(diǎn)也將適用于他們。

  3. 模擬神經(jīng)形態(tài)的脈沖神經(jīng)網(wǎng)絡(luò)(SNN)和量子計(jì)算才剛剛用于商業(yè)。每一個(gè)都將為人工智能提供非凡的新能力。

  4. 脈沖神經(jīng)網(wǎng)絡(luò)有望成為強(qiáng)大的自學(xué)習(xí)者,通過(guò)較小的未標(biāo)注的訓(xùn)練集和從一個(gè)域到另一個(gè)的知識(shí)轉(zhuǎn)移能力,開啟了超高效學(xué)習(xí)的大門。

  5. 量子計(jì)算機(jī)將完全消除時(shí)間障礙,并且最終成本壁壘也會(huì)將得到解決方案的時(shí)間從幾個(gè)月降低到幾分鐘。重要的是,目前正在使用的學(xué)習(xí)風(fēng)格被稱為增強(qiáng)量子計(jì)算,因?yàn)樗腔谖覀兡壳暗纳疃葘W(xué)習(xí)算法,并且提高它們的性能。然而基于這些機(jī)器完全不同能力的全新的機(jī)器學(xué)習(xí)類型尚未到來(lái)。

我個(gè)人感覺(jué),對(duì)于量子計(jì)算和神經(jīng)形態(tài)計(jì)算,我們目前所在的時(shí)間點(diǎn)就像 2007 年,那年谷歌的大計(jì)劃是開源的 Hadoop。起初我們并不知道該怎么用它,但三年后,Hadoop 在很大程度上接管了數(shù)據(jù)科學(xué)的進(jìn)步。我想從現(xiàn)在開始,未來(lái)三年也將會(huì)有令人吃驚的發(fā)展。

查看英文原文:

https://www./profiles/blogs/the-three-way-race-to-the-future-of-ai-quantum-vs-neuromorphic-vs


關(guān)于作者


Bill Vorhies 是數(shù)據(jù)科學(xué)中心的編輯部主任,自 2001 起成為數(shù)據(jù)科學(xué)家和商業(yè)預(yù)測(cè)建模師。

聯(lián)系作者:Bill@DataScienceCentral.com 

    本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購(gòu)買等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊一鍵舉報(bào)。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評(píng)論

    發(fā)表

    請(qǐng)遵守用戶 評(píng)論公約

    類似文章 更多

    国产一区麻豆水好多高潮| 国产日韩欧美国产欧美日韩| 99久久免费中文字幕| 日韩一级欧美一级久久| 亚洲色图欧美另类人妻| 日本最新不卡免费一区二区| 白丝美女被插入视频在线观看| 色综合视频一区二区观看| 久久经典一区二区三区| 久七久精品视频黄色的| 国产欧美日韩精品成人专区| 国产肥女老熟女激情视频一区| 高潮日韩福利在线观看| 自拍偷拍福利视频在线观看| 亚洲男人的天堂色偷偷| 精品少妇人妻av一区二区蜜桃| 日韩欧美一区二区不卡视频| 可以在线看的欧美黄片| 亚洲妇女黄色三级视频| 亚洲一区二区精品国产av| 91免费精品国自产拍偷拍| 欧美国产日产综合精品| 国产欧美精品对白性色| 国产精品一区欧美二区| 国产日韩欧美综合视频| 日韩免费av一区二区三区| 久久精品久久精品中文字幕| 国产极品粉嫩尤物一区二区| 精品推荐国产麻豆剧传媒| 日韩性生活视频免费在线观看| 婷婷开心五月亚洲综合| 亚洲女同一区二区另类| 国产高清在线不卡一区| 国产色偷丝袜麻豆亚洲| 大尺度激情福利视频在线观看| 欧美夫妻性生活一区二区| 日韩一级一片内射视频4k| 日韩成人高清免费在线| 91偷拍与自偷拍精品| 国产一级不卡视频在线观看| 成人精品一级特黄大片|