北京2019年8月19日 /美通社/ -- 在科學(xué)技術(shù)不斷發(fā)展的今天，人們通過(guò)對(duì)地觀測(cè)、地表傳感器網(wǎng)絡(luò)、遙感技術(shù)等手段，獲取了海量的地球科學(xué)數(shù)據(jù)集，這些數(shù)據(jù)統(tǒng)稱(chēng)為地球大數(shù)據(jù)。

2015年，聯(lián)合國(guó)發(fā)布了可持續(xù)發(fā)展目標(biāo)議程，以期面向2030年解決貧困、不平等和全球變化等的挑戰(zhàn)。這議程的眾多目標(biāo)中，地球大數(shù)據(jù)至少可以為實(shí)現(xiàn)其中八個(gè)提供不同形式的支持，特別是純凈的水源、低廉的能源、可持續(xù)發(fā)展的城市、全球變化、水下生命、陸上生命、健康和平等發(fā)展目標(biāo)。

2017年中科院成立了為期五年的“地球大數(shù)據(jù)科學(xué)工程”先導(dǎo)專(zhuān)項(xiàng)，其中大數(shù)據(jù)云服務(wù)平臺(tái)是“地球大數(shù)據(jù)科學(xué)工程”先導(dǎo)專(zhuān)項(xiàng)的重要建設(shè)任務(wù)之一，屬于綜合型基礎(chǔ)設(shè)施項(xiàng)目。

構(gòu)建“大數(shù)據(jù)云服務(wù)平臺(tái)”的關(guān)鍵在于兩個(gè)層面，一是對(duì)中科院積累的海量基礎(chǔ)物理數(shù)據(jù)及其相互關(guān)系的建模；二是將對(duì)數(shù)據(jù)使用邏輯實(shí)現(xiàn)“服務(wù)化”，以支撐各單位實(shí)現(xiàn)數(shù)據(jù)共享和個(gè)性化應(yīng)用孵化。

如何助力“地球大數(shù)據(jù)科學(xué)工程”構(gòu)建包含資源、環(huán)境、生物、生態(tài)等多個(gè)領(lǐng)域的大數(shù)據(jù)云服務(wù)平臺(tái)，將海量“地球大數(shù)據(jù)”掌握在手中并實(shí)現(xiàn)云化？中科院和中科曙光通過(guò)“院企合作”的方式，將中科院的科研成果注入曙光 Cloudview 云計(jì)算操作系統(tǒng)產(chǎn)品中，實(shí)現(xiàn)科研成果的工程化。

依托專(zhuān)家力量，將其對(duì)海量數(shù)據(jù)的獨(dú)特使用邏輯框架化，并形成對(duì)底層資源支撐要求的量化，曙光以此作為輸入，在原有 Cloudview 云計(jì)算操作系統(tǒng)的基礎(chǔ)上，擴(kuò)充資源調(diào)度功能并優(yōu)化，為地球大數(shù)據(jù)科學(xué)工程提供 IaaS 層資源支撐及資源管理與調(diào)度，通過(guò)靈活的調(diào)度、簡(jiǎn)便的運(yùn)維，讓“大”數(shù)據(jù)輕松一手掌握，推動(dòng)并實(shí)現(xiàn)地球大數(shù)據(jù)技術(shù)創(chuàng)新、重大科學(xué)發(fā)現(xiàn)和一站式全方位宏觀決策支持。

系統(tǒng)總體架構(gòu)圖

建設(shè)國(guó)際領(lǐng)先的大數(shù)據(jù)云服務(wù)平臺(tái)，需不斷提高對(duì)資源層高標(biāo)準(zhǔn)的使用要求，如彈性、高性能的計(jì)算資源、海量的數(shù)據(jù)存儲(chǔ)、高并發(fā)的數(shù)據(jù)訪問(wèn)、簡(jiǎn)便的集群運(yùn)維管理等。針對(duì)“地球大數(shù)據(jù)科學(xué)工程”的大數(shù)據(jù)云系統(tǒng)建設(shè)所形成的曙光云計(jì)算 Cloudview 操作系統(tǒng)的優(yōu)勢(shì)主要體現(xiàn)為三個(gè)方面：

第一，體現(xiàn)在大規(guī)模彈性及異構(gòu)計(jì)算，達(dá)到更高的計(jì)算能力。

基于數(shù)百臺(tái)計(jì)算節(jié)點(diǎn)的調(diào)度提供計(jì)算資源的彈性擴(kuò)展，滿(mǎn)足大氣、海洋領(lǐng)域科學(xué)應(yīng)用對(duì)計(jì)算資源不斷變化的需求，不會(huì)產(chǎn)生計(jì)算資源瓶頸，不同業(yè)務(wù)系統(tǒng)之間均衡使用，使資源得到充分、合理的使用。利用 GPU 透?jìng)?、PCI 設(shè)備透?jìng)髂芰?，CPU 獨(dú)占特性，為業(yè)務(wù)應(yīng)用提供資源獨(dú)占能力，避免資源的爭(zhēng)搶、達(dá)到更高性能的計(jì)算能力，支撐基于 Hadoop 大數(shù)據(jù)系統(tǒng)及 Spark 等流式數(shù)據(jù)處理，幫助用戶(hù)實(shí)現(xiàn)一鍵構(gòu)建大數(shù)據(jù)處理環(huán)境功能。

第二，支持高并發(fā)海量存儲(chǔ)、提供更優(yōu)的數(shù)據(jù)治理能力。

中科曙光 Cloudview 云計(jì)算操作系統(tǒng)提供海量的存儲(chǔ)管理，提供統(tǒng)一的存儲(chǔ)管理與調(diào)度?？赏瑫r(shí)對(duì)接幾十PB級(jí)文件存儲(chǔ)系統(tǒng)和對(duì)象存儲(chǔ)系統(tǒng)，“文件存儲(chǔ)系統(tǒng)”主要用于存儲(chǔ)來(lái)自全國(guó)不同科研組織提交的科研數(shù)據(jù)，提供數(shù)據(jù)遠(yuǎn)程匯交的人機(jī)接口和功能，同時(shí)提供空間配額、訪問(wèn)權(quán)限控制、數(shù)據(jù)隔離等功能?！皩?duì)象存儲(chǔ)系統(tǒng)”主要用于將匯交的、有價(jià)值的科研數(shù)據(jù)以對(duì)象格式存儲(chǔ)，便于后期的數(shù)據(jù)處理和發(fā)布共享。數(shù)據(jù)網(wǎng)絡(luò)采用10Gb/40Gb網(wǎng)絡(luò)，10Gb網(wǎng)絡(luò)用于虛擬機(jī)鏡像在鏡像存儲(chǔ)與計(jì)算資源池之間的傳輸，“數(shù)據(jù)內(nèi)網(wǎng)”采用40Gb高速網(wǎng)絡(luò)，用于科研數(shù)據(jù)在超級(jí)計(jì)算系統(tǒng)、大數(shù)據(jù)云系統(tǒng)、數(shù)據(jù)存儲(chǔ)系統(tǒng)之間的相互流轉(zhuǎn)。

第三，體現(xiàn)在簡(jiǎn)單的運(yùn)維，實(shí)現(xiàn)自動(dòng)化交付。

整個(gè)系統(tǒng)的易用性，體現(xiàn)在上層應(yīng)用的使用時(shí)候的便利性，專(zhuān)家建議對(duì)各使用單位的系統(tǒng)使用習(xí)慣做認(rèn)真分類(lèi)，并提出“強(qiáng)資源編排”的應(yīng)用模塊化構(gòu)建理念。曙光 Cloudview 云計(jì)算操作系統(tǒng)提供資源編排服務(wù)，可以實(shí)現(xiàn)從基礎(chǔ)架構(gòu)到應(yīng)用的端到端的自動(dòng)化交付工作。資源編排服務(wù)采用完全圖形化 UI 操作，用戶(hù)可以通過(guò)簡(jiǎn)單的圖表拖拽進(jìn)行可視化編排。資源編排實(shí)現(xiàn)了資源及其拓?fù)潢P(guān)系的自動(dòng)執(zhí)行，不僅獨(dú)立資源可按配置實(shí)現(xiàn)自動(dòng)化部署，各資源間的拓?fù)潢P(guān)系也將自動(dòng)執(zhí)行，幫助運(yùn)維管理人員省去大量機(jī)械重復(fù)的手動(dòng)配置操作。

通過(guò)與客戶(hù)緊密合作，中科曙光 Cloudview 云計(jì)算操作系統(tǒng)為“地球大數(shù)據(jù)科學(xué)工程”提供了高可靠、高性能、高彈性、易運(yùn)維的 IaaS 平臺(tái)，切實(shí)提高了客戶(hù)在基礎(chǔ)架構(gòu)和應(yīng)用程序構(gòu)建效率，為系統(tǒng)正常運(yùn)行及業(yè)務(wù)創(chuàng)新保駕護(hù)航。讓海量復(fù)雜的地球大數(shù)據(jù)，輕松靈活地掌握在手中。