一区二区三区日韩精品-日韩经典一区二区三区-五月激情综合丁香婷婷-欧美精品中文字幕专区

分享

MIT用GPU處理可視化數(shù)據(jù)庫,速度較CPU提升100倍

 天道酬勤YXJ1 2017-01-24

作為電子計算機系統(tǒng)中一個非常重要的協(xié)處理器,GPU從1990年代第一次出現(xiàn)以來,就一直在專職負責(zé)圖形渲染和處理的相關(guān)工作。然而隨著時間的推移,技術(shù)和需求的不斷變化,GPU已經(jīng)逐漸走出了這種定位。特別是近幾年,憑借突出的并行運算能力和高性能的內(nèi)存使用效率,GPU已經(jīng)被廣泛應(yīng)用于高級實驗室仿真和深度學(xué)習(xí)編程等諸多的需要高強度運算的非圖形處理領(lǐng)域。

MIT計算機科學(xué)和人工智能實驗室(CSAIL)的前任研究員Todd Mostak就將GPU應(yīng)用在了數(shù)據(jù)庫領(lǐng)域。他將傳統(tǒng)數(shù)據(jù)庫管理系統(tǒng)中的運算核心——CPU替換為GPU,研發(fā)出了一種全新的分析型數(shù)據(jù)庫和一個基于地理位置可視化的數(shù)據(jù)管理平臺,名為MapD。

據(jù)Todd Mostak介紹,MapD一共有兩大特點。一是運算速度快:MapD可以在1毫秒的時間內(nèi)處理數(shù)以億計的數(shù)據(jù)點(data points),相比傳統(tǒng)的數(shù)據(jù)庫管理系統(tǒng)快了100倍。二是可視化:正如名稱里“Map”(地圖)所表達的,MapD可以實時地將所有處理過的數(shù)據(jù)點以地理信息圖表的方式展現(xiàn)出來,例如在世界地圖上標(biāo)記出當(dāng)前的Twitter話題活躍度(如下圖所示,這里是MapD系統(tǒng)一個名為 Tweetmap 的實現(xiàn)樣例)。

MIT用GPU處理可視化數(shù)據(jù)庫,速度較CPU提升100倍

自從去年3月份發(fā)布第一個商用版本以來,MapD以GPU高速管理數(shù)據(jù)庫的方式已被各行業(yè)的用戶廣泛接受,目前包括Verizon等美國電信巨頭,以及媒體、財經(jīng)和廣告業(yè)的各大公司都是MapD的忠實用戶。甚至在今年10月,專門為美國中央情報局(CIA)服務(wù)的風(fēng)險投資公司In-Q-Tel也投資了MapD,宣稱他們需要MapD為美國情報系統(tǒng)研發(fā)具有特定數(shù)據(jù)處理能力的版本。

Todd Mostak表示:“CIA掌握著大量的地理空間數(shù)據(jù),他們需要對這些數(shù)據(jù)進行有效的組織、可視化以及實時查詢。對于情報系統(tǒng)來說,這幾乎是一種剛需。”

將GPU作為真正的處理核心

一般來說,GPU是專為并行計算而設(shè)計的專用協(xié)處理器,通常其內(nèi)部都集成了數(shù)千個高速運算核心,可以并行處理計算機屏幕上每個像素點的單獨顯色以渲染整個圖像。并且,由于GPU通常都可以直接搭配高帶寬存儲器協(xié)同工作,因此通常都比使用一般RAM的CPU的運算速度快一個數(shù)量級。

目前,雖然一些數(shù)據(jù)庫已經(jīng)使用了GPU,但他們普遍存在一個重要的設(shè)計缺陷。Todd Mostak表示:“目前大部分的數(shù)據(jù)庫管理方案都是將數(shù)據(jù)庫存儲在CPU一側(cè),當(dāng)接到用戶的數(shù)據(jù)請求時,再將數(shù)據(jù)搬移到GPU一側(cè)進行處理,然后再將處理結(jié)果移回CPU進行存儲。也就是說,GPU并非真正的系統(tǒng)核心。這種機制決定了:即使你通過GPU加快了數(shù)據(jù)處理速度,但把處理結(jié)果搬回CPU的過程仍然浪費了太多時間?!?/p>

與此不同的是,Todd Mostak將GPU作為了MapD系統(tǒng)的真正核心。MapD并沒有像傳統(tǒng)系統(tǒng)那樣將數(shù)據(jù)全部存儲在CPU一側(cè),而是利用高速緩存機制將盡量多的數(shù)據(jù)直接存儲在多內(nèi)核協(xié)同工作的GPU一側(cè),這樣一來就避免了數(shù)據(jù)搬移過程中浪費的大量時間,大大提升了運算效率。

在MapD系統(tǒng)中,每個GPU都有自己的緩沖池,即利用高速緩存機制將最常訪問的數(shù)據(jù)直接存儲在GPU一側(cè),而不再是硬盤。這樣一來,在數(shù)據(jù)庫需要反復(fù)查詢同一個數(shù)據(jù)點時(這種場景在實際應(yīng)用中非常常見),MapD就可以直接從GPU一側(cè)的高帶寬存儲器中直接訪問數(shù)據(jù),而不是從CPU或硬盤。

Todd Mostak表示,通過這種機制,MapD可以提供相比傳統(tǒng)數(shù)據(jù)庫管理系統(tǒng)快兩到三個數(shù)量級的性能。

強大的數(shù)據(jù)處理能力

MIT用GPU處理可視化數(shù)據(jù)庫,速度較CPU提升100倍

MapD曾分析過一個被認為是大規(guī)模數(shù)據(jù)分析能力基準(zhǔn)測試的龐大數(shù)據(jù)集合,即高達12億條數(shù)據(jù)記錄的紐約市出租車數(shù)據(jù)集。通過一家第三方測試機構(gòu)的測試,MapD的運行速度比許多先進的CPU數(shù)據(jù)庫管理系統(tǒng)快74倍,許多數(shù)據(jù)查詢?nèi)蝿?wù)甚至能夠在毫秒內(nèi)完成。(如上圖所示為紐約市出租車數(shù)據(jù)集合的分析截圖)

在其他示例中,MapD的表現(xiàn)也同樣出色。例如,通過“Tweetmap”,用戶可以搜索所有Twitter上的熱門話題,并查看這些話題在世界各地實時的地理位置分布。在另一幅美國地圖中,用戶還可以通過MapD查看2001年以來美國所有的政治捐款,并以不同顏色標(biāo)明不同的政黨(例如紅色代表共和黨,藍色代表民主黨)。

MIT用GPU處理可視化數(shù)據(jù)庫,速度較CPU提升100倍

總體上說,不同行業(yè)的客戶對MapD系統(tǒng)的具體需求也不同,但本質(zhì)都是通過其高速的數(shù)據(jù)處理能力和基于地理位置的展示能力協(xié)助他們做出合理的商業(yè)決策。例如金融服務(wù)機構(gòu)和對沖基金可以通過該系統(tǒng)來監(jiān)控欺詐行為和做出投資決策;廣告代理商們可以通過該系統(tǒng)來評估客戶們對各種廣告的不同反饋; 社交媒體公司則可以通過該系統(tǒng)追蹤全球用戶的使用情況。

美國電信巨頭Verizon也是MapD的用戶之一,他們每周都會利用MapD系統(tǒng)對8500萬用戶更換SIM卡的行為展開分析。此前在使用傳統(tǒng)的數(shù)據(jù)庫管理系統(tǒng)時,這種分析通常要耗費好幾個小時,因為效率太低,因此只能好幾個月分析一次。近期,Verizon就通過MapD系統(tǒng)的每周分析報告發(fā)現(xiàn)了一個隱藏多年的Bug,這一Bug導(dǎo)致每年有上百萬次無意義的SIM卡更換,不但大大浪費了服務(wù)資源,更造成了用戶的反感。

Todd Mostak說:“MapD這次可幫Verizon省了一大筆錢,但更重要的在于用戶體驗的提升,因為通常來說,頻繁地更換SIM卡畢竟不是什么值得高興的事?!?/p>從論文寫作到MapD

研發(fā)MapD系統(tǒng)的最初想法來自于2012年,那時Todd Mostak正在哈佛大學(xué)寫他的政治學(xué)碩士論文,過程中需要查詢大量的歷史資料。

使用以CPU作為處理核心的數(shù)據(jù)庫系統(tǒng)做這些資料查詢顯然不是一件輕松愉快的工作。很多次,Todd Mostak在睡覺之前敲入一個查詢命令,結(jié)果第二天醒來發(fā)現(xiàn)系統(tǒng)提示參數(shù)輸入錯誤,這種酸爽的用戶體驗簡直讓人崩潰。按照Todd Mostak的原話來說就是:“那是一個令人沮喪的經(jīng)歷?!?/p>

恰好,當(dāng)時Todd Mostak選修了由MIT數(shù)據(jù)庫研發(fā)組教授的CSAIL數(shù)據(jù)庫課程。當(dāng)時的授課教師有兩位:一位是數(shù)據(jù)庫領(lǐng)域的布道者Michael Stonebraker,他是MIT計算機科學(xué)的兼職教授,創(chuàng)立了Postgres、Ingres和Vertica等諸多流行的數(shù)據(jù)庫系統(tǒng);另一位是Sam Madden,他是MIT電氣工程和計算機科學(xué)的教授,現(xiàn)在是MapD的特聘顧問。

為了加快論文進度,Todd Mostak通過自己在CSAIL數(shù)據(jù)庫課程中學(xué)到的知識,自己研發(fā)了一個簡易的數(shù)據(jù)庫系統(tǒng),也就是MapD的早期雛形。這一系統(tǒng)當(dāng)時令CSAIL數(shù)據(jù)庫課程的導(dǎo)師們印象深刻,當(dāng)然也大大加快了Todd Mostak的論文進度。2013年,在論文最終順利通過之后,導(dǎo)師們邀請Todd Mostak以研究員的身份加入CSAIL,進一步完善MapD。

在Sam Madden導(dǎo)師的鼓勵下,Todd Mostak開始在MIT的工業(yè)聯(lián)絡(luò)計劃(ILP)中公開展示MapD。那時開始有公司找到Todd Mostak,并表示愿意出高價購買他的研究成果。Todd Mostak說:“當(dāng)時,我對他們說這只是一個純粹的學(xué)術(shù)研究項目。雖然并沒有出售,但這件事開始讓我思考一個更普遍的問題,即如何實時地從大數(shù)據(jù)中獲取有效信息?!?/p>

2014年1月,Todd Mostak正式推出了MapD系統(tǒng),并加入了ILP計劃中的初創(chuàng)公司社區(qū),在那里可以與其他眾多MIT附屬的初創(chuàng)公司建立聯(lián)系或者合作,從那時開始Todd Mostak打算把MapD系統(tǒng)與地圖結(jié)合起來,以可視化的方式展示信息。

此后,成立于馬薩諸塞州劍橋的MapD開始逐漸步入正軌。2014年3月,MapD在Nvidia舉辦的一場初創(chuàng)公司大數(shù)據(jù)計算比賽中贏得了10萬美元獎金(現(xiàn)在Nvidia已經(jīng)成為了MapD的合作伙伴)。當(dāng)年秋天,MapD又從Nvidia和Google那里獲得了200萬美元的種子輪融資,2015年又獲得了1000萬美元的A輪融資。

現(xiàn)在,MapD已經(jīng)在舊金山新總部展開了新一輪的擴張。在越來越多的企業(yè)開始通過云端啟用GPU編程的大趨勢下,MapD希望在舊金山收獲更多的客戶。Todd Mostak表示:“我相信在舊金山我們能收獲更多的用戶,我甚至覺得MapD才剛剛成立?!崩卒h網(wǎng)雷鋒網(wǎng)

來源:MIT,雷鋒網(wǎng)編譯

    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,謹防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點擊一鍵舉報。
    轉(zhuǎn)藏 分享 獻花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多

    国产又大又黄又粗的黄色| 免费福利午夜在线观看| 黄色日韩欧美在线观看| 国产欧美一区二区久久| 伊人天堂午夜精品草草网| 沐浴偷拍一区二区视频| 五月天六月激情联盟网| 中国少妇精品偷拍视频| 国产精品欧美一级免费| 麻豆最新出品国产精品| 中文字幕乱码免费人妻av| 欧美不卡高清一区二区三区| 国产一区二区三区四区免费| 少妇特黄av一区二区三区| 91人妻人人揉人人澡人| 欧美不卡午夜中文字幕| 果冻传媒在线观看免费高清| 不卡视频在线一区二区三区| 国产欧美日韩综合精品二区| 欧美日韩久久精品一区二区| 国产又大又猛又粗又长又爽| 国产日韩欧美在线播放| 中日韩美一级特黄大片| 亚洲一区二区精品免费| 欧美国产精品区一区二区三区| 视频在线免费观看你懂的| 久久女同精品一区二区| 91偷拍裸体一区二区三区| 欧美性欧美一区二区三区| 女同伦理国产精品久久久| 亚洲少妇人妻一区二区| 五月综合婷婷在线伊人| 激情综合五月开心久久| 绝望的校花花间淫事2| 搡老妇女老熟女一区二区| 亚洲一区二区精品国产av| 色婷婷视频国产一区视频| 91偷拍裸体一区二区三区| 久久成人国产欧美精品一区二区| 日韩国产亚洲欧美激情| 99视频精品免费视频播放|

    AI助手

    阅读时有疑惑?点击向AI助手提问吧

    联系客服

    微信扫码,添加客服企业微信

    客服QQ:

    1732698931

    联系电话:4000-999-276

    客服工作时间9:00-18:00,晚上非工作时间,请在微信或QQ留言,第二天客服上班后会立即联系您。