1引言

    近年來(lái)，社交網(wǎng)絡(luò)、電子商務(wù)、數(shù)字城市、在線視頻等新一代大規(guī)?；ヂ?lián)網(wǎng)應(yīng)用發(fā)展迅猛。這些新興的應(yīng)用具有數(shù)據(jù)存儲(chǔ)量大、業(yè)務(wù)增長(zhǎng)速度快等特點(diǎn)。據(jù)統(tǒng)計(jì)至2010年，社交網(wǎng)站Facebook己存儲(chǔ)了15TB的數(shù)據(jù)，并且每天新增60TB數(shù)據(jù)；電子商務(wù)網(wǎng)站淘寶的B2C業(yè)務(wù)在2010年增長(zhǎng)了4倍，其數(shù)據(jù)中心存儲(chǔ)了14PB數(shù)據(jù)，并且每天需要處理SOOTB數(shù)據(jù)。與此同時(shí)，傳統(tǒng)企業(yè)的軟硬件維護(hù)成本高昂；在企業(yè)的IT投入中，僅有20%的投入用于軟硬件更新與商業(yè)價(jià)值的提升，而80%則投入用于系統(tǒng)維護(hù)。根據(jù)2006年IDC對(duì)200家企業(yè)的統(tǒng)計(jì)，部分企業(yè)的信息技術(shù)人力成本達(dá)到1320美元/每人/每臺(tái)服務(wù)器，而部署一個(gè)新的應(yīng)用系統(tǒng)需要花費(fèi)5.4周。

    為了解決上述問(wèn)題，2006年Google、Amazon等公司提出了“云計(jì)算”的構(gòu)想。根據(jù)美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院(NIST)的定義，云計(jì)算是一種利用互聯(lián)網(wǎng)實(shí)現(xiàn)隨時(shí)隨地、按需、便捷地訪問(wèn)共享資源池(如計(jì)算設(shè)施、存儲(chǔ)設(shè)備、應(yīng)用程序等)的計(jì)算模式。計(jì)算機(jī)資源服務(wù)化是云計(jì)算重要的表現(xiàn)形式，它為用戶屏蔽了數(shù)據(jù)中心管理、大規(guī)模數(shù)據(jù)處理、應(yīng)用程序部署等問(wèn)題。通過(guò)云計(jì)算，用戶可以根據(jù)其業(yè)務(wù)負(fù)載快速申請(qǐng)或釋放資源，并以按需支付的方式對(duì)所使用的資源付費(fèi)，在提高服務(wù)質(zhì)量的同時(shí)降低運(yùn)維成本。

    作為信息產(chǎn)業(yè)的一大創(chuàng)新，云計(jì)算模式一經(jīng)提出便得到工業(yè)界、學(xué)術(shù)界的廣泛關(guān)注。其中Amazon等公司的云計(jì)算平臺(tái)提供可快速部署的虛擬服務(wù)器，實(shí)現(xiàn)了基礎(chǔ)設(shè)施的按需分配。MapReduce等新型并行編程框架簡(jiǎn)化了海量數(shù)據(jù)處理模型。Google公司的App Engine云計(jì)算開發(fā)平臺(tái)為應(yīng)用服務(wù)提供商開發(fā)和部署云計(jì)算服務(wù)提供接口。

    Salesforce公司的客戶關(guān)系管理(CRM, customerrelationship management)服務(wù)等云計(jì)算服務(wù)將桌面應(yīng)用程序遷移到互聯(lián)網(wǎng)，實(shí)現(xiàn)應(yīng)用程序的泛在訪問(wèn)。同時(shí)，各國(guó)學(xué)者對(duì)云計(jì)算也展開了大量研究工作。早在2007年，斯坦福大學(xué)等多所美國(guó)高校便開始和Google, IBM合作，研究云計(jì)算關(guān)鍵技術(shù)。近年來(lái)，隨著云計(jì)算研究的深入，眾多國(guó)際會(huì)議(如SIGCOMM、OSDI, SIGMOD, CCS等)上陸續(xù)發(fā)表了云計(jì)算相關(guān)研究成果.此外，以Eucalyptus為代表的開源云計(jì)算平臺(tái)的出現(xiàn)，加速了云計(jì)算服務(wù)的研究和普及。

    不僅如此，各國(guó)政府紛紛將云計(jì)算列為國(guó)家戰(zhàn)略，投入了相當(dāng)大的財(cái)力和物力用于云計(jì)算的部署。其中，美國(guó)政府利用云計(jì)算技術(shù)建立聯(lián)邦政府網(wǎng)站，以降低政府信息化運(yùn)行成本。英國(guó)政府建立國(guó)家級(jí)云計(jì)算平臺(tái)(G-Cloud)，超過(guò)2/3的英國(guó)企業(yè)開始使用云計(jì)算服務(wù)。在我國(guó)，北京、上海、深圳、杭州、無(wú)錫等城市開展了云計(jì)算服務(wù)創(chuàng)新發(fā)展試點(diǎn)示范工作;電信、石油石化、交通運(yùn)輸?shù)刃袠I(yè)也啟動(dòng)了相應(yīng)的云計(jì)算發(fā)展計(jì)劃，以促進(jìn)產(chǎn)業(yè)信息化。

    然而，云計(jì)算本質(zhì)上并非一個(gè)全新的概念。早在1961年，計(jì)算機(jī)先驅(qū)John McCarthy就預(yù)言:“未來(lái)的計(jì)算資源能像公共設(shè)施(如水、電)一樣被使用?！睘榱藢?shí)現(xiàn)這個(gè)目標(biāo)，在之后的幾十年里，學(xué)術(shù)界和工業(yè)界陸續(xù)提出了集群計(jì)算、效用計(jì)算、網(wǎng)格計(jì)算、服務(wù)計(jì)算等技術(shù)，而云計(jì)算正是從這些技術(shù)發(fā)展而來(lái)。

    在這些傳統(tǒng)技術(shù)中，集群計(jì)算將大量獨(dú)立的計(jì)算機(jī)通過(guò)高速局域網(wǎng)相連，從而提供高性能計(jì)算能力。效用計(jì)算為用戶提供按需租用計(jì)算機(jī)資源的途徑。網(wǎng)格計(jì)算整合大量異構(gòu)計(jì)算機(jī)的閑置資源(如計(jì)算資源和磁盤存儲(chǔ)等)，組成虛擬組織，以解決大規(guī)模計(jì)算問(wèn)題。服務(wù)計(jì)算作為連接信息技術(shù)和商業(yè)服務(wù)的橋梁，研究如何用信息技術(shù)對(duì)商業(yè)服務(wù)建模、操作和管理。

    對(duì)云計(jì)算而言，其借鑒了傳統(tǒng)分布式計(jì)算的思想。通常情況下，云計(jì)算采用計(jì)算機(jī)集群構(gòu)成數(shù)據(jù)中心，并以服務(wù)的形式交付給用戶，使得用戶可以像使用水、電一樣按需購(gòu)買云計(jì)算資源。從這個(gè)角度看，云計(jì)算與網(wǎng)格計(jì)算的目標(biāo)非常相似。但是云計(jì)算和網(wǎng)格計(jì)算等傳統(tǒng)的分布式計(jì)算也有著較明顯的區(qū)別:首先云計(jì)算是彈性的，即云計(jì)算能根據(jù)工作負(fù)載大小動(dòng)態(tài)分配資源，而部署于云計(jì)算平臺(tái)上的應(yīng)用需要適應(yīng)資源的變化，并能根據(jù)變化做出響應(yīng)；其次，相對(duì)于強(qiáng)調(diào)異構(gòu)資源共享的網(wǎng)格計(jì)算，云計(jì)算更強(qiáng)調(diào)大規(guī)模資源池的分享，通過(guò)分享提高資源復(fù)用率，并利用規(guī)模經(jīng)濟(jì)降低運(yùn)行成本:最后，云計(jì)算需要考慮經(jīng)濟(jì)成本，因此硬件設(shè)備、軟件平臺(tái)的設(shè)計(jì)不再一味追求高性能，而要綜合考慮成本、可用性、可靠性等因素。

    基于上述比較并結(jié)合云計(jì)算的應(yīng)用背景，云計(jì)算的特點(diǎn)可歸納如下。

    1)彈性服務(wù)。服務(wù)的規(guī)模可快速伸縮，以自動(dòng)適應(yīng)業(yè)務(wù)負(fù)載的動(dòng)態(tài)變化。用戶使用的資源同業(yè)務(wù)的需求相一致，避免了因?yàn)榉?wù)器性能過(guò)載或冗余而導(dǎo)致的服務(wù)質(zhì)量下降或資源浪費(fèi)。

    2)資源池化。資源以共享資源池的方式統(tǒng)一管理。利用虛擬化技術(shù)，將資源分享給不同用戶，資源的放置、管理與分配策略對(duì)用戶透明。

    3)按需服務(wù)。以服務(wù)的形式為用戶提供應(yīng)用程序、數(shù)據(jù)存儲(chǔ)、基礎(chǔ)設(shè)施等資源，并可以根據(jù)用戶需求，自動(dòng)分配資源，而不需要系統(tǒng)管理員干預(yù)。

    4)服務(wù)可計(jì)費(fèi)。監(jiān)控用戶的資源使用量，并根據(jù)資源的使用情況對(duì)服務(wù)計(jì)費(fèi)。

    5)泛在接入。用戶可以利用各種終端設(shè)備(如PC電腦、筆記本電腦、智能手機(jī)等)隨時(shí)隨地通過(guò)互聯(lián)網(wǎng)訪問(wèn)云計(jì)算服務(wù)。

    正是因?yàn)樵朴?jì)算具有上述5個(gè)特性，使得用戶只需連上互聯(lián)網(wǎng)就可以源源不斷地使用計(jì)算機(jī)資源，實(shí)現(xiàn)了“互聯(lián)網(wǎng)即計(jì)算機(jī)”的構(gòu)想。

    綜上所述，云計(jì)算是分布式計(jì)算、互聯(lián)網(wǎng)技術(shù)、大規(guī)模資源管理等技術(shù)的融合與發(fā)展(如圖1所示)，其研究和應(yīng)用是一個(gè)系統(tǒng)工程，涵蓋了數(shù)據(jù)中心管理、資源虛擬化、海量數(shù)據(jù)處理、計(jì)算機(jī)安全等重要問(wèn)題。本文通過(guò)歸納云計(jì)算特點(diǎn)與體系架構(gòu)，總結(jié)和分析云計(jì)算各層服務(wù)的關(guān)鍵技術(shù)及系統(tǒng)實(shí)例，針對(duì)當(dāng)前云計(jì)算存在的問(wèn)題，提出未來(lái)研究的方向。

2云計(jì)算體系架構(gòu)

    云計(jì)算可以按需提供彈性資源，它的表現(xiàn)形式是一系列服務(wù)的集合。結(jié)合當(dāng)前云計(jì)算的應(yīng)用與研究，其體系架構(gòu)可分為核心服務(wù)、服務(wù)管理、用戶訪問(wèn)接口3層，如圖2所示。核心服務(wù)層將硬件基礎(chǔ)設(shè)施、軟件運(yùn)行環(huán)境、應(yīng)用程序抽象成服務(wù)，這些服務(wù)具有可靠性強(qiáng)、可用性高、規(guī)?？缮炜s等特點(diǎn)，滿足多樣化的應(yīng)用需求。服務(wù)管理層為核心服務(wù)提供支持，進(jìn)一步確保核心服務(wù)的可靠性、可用性與安全性。用戶訪問(wèn)接口層實(shí)現(xiàn)端到云的訪問(wèn)。

    圖2云計(jì)算體系架構(gòu)

    2.1核心服務(wù)層

    云計(jì)算核心服務(wù)通?？梢苑譃?個(gè)子層:基礎(chǔ)設(shè)施即服務(wù)層(IaaS, infrastructure as a service )、平臺(tái)即服務(wù)層(PaaS, platform as a service )、軟件即服務(wù)層(SaaS, software as a service)。表1對(duì)3層服務(wù)的特點(diǎn)進(jìn)行了比較。

    IaaS提供硬件基礎(chǔ)設(shè)施部署服務(wù)，為用戶按需提供實(shí)體或虛擬的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)等資源。在使用IaaS層服務(wù)的過(guò)程中，用戶需要向IaaS層服務(wù)提供商提供基礎(chǔ)設(shè)施的配置信息，運(yùn)行于基礎(chǔ)設(shè)施的程序代碼以及相關(guān)的用戶數(shù)據(jù)。由于數(shù)據(jù)中心是IaaS層的基礎(chǔ)，因此數(shù)據(jù)中心的管理和優(yōu)化問(wèn)題近年來(lái)成為研究熱點(diǎn)。另外，為了優(yōu)化硬件資源的分配，IaaS層引入了虛擬化技術(shù)。借助于Xen、KVM、VMware等虛擬化工具，可以提供可靠性高、可定制性強(qiáng)、規(guī)?？蓴U(kuò)展的IaaS層服務(wù)。

    PaaS是云計(jì)算應(yīng)用程序運(yùn)行環(huán)境，提供應(yīng)用程序部署與管理服務(wù)。通過(guò)PaaS層的軟件工具和開發(fā)語(yǔ)言，應(yīng)用程序開發(fā)者只需上傳程序代碼和數(shù)據(jù)即可使用服務(wù)，而不必關(guān)注底層的網(wǎng)絡(luò)、存儲(chǔ)、操作系統(tǒng)的管理問(wèn)題。由于目前互聯(lián)網(wǎng)應(yīng)用平臺(tái)(如Facebook.Google、淘寶等)的數(shù)據(jù)量日趨龐大，PaaS層應(yīng)當(dāng)充分考慮對(duì)海量數(shù)據(jù)的存儲(chǔ)與處理能力，并利用有效的資源管理與調(diào)度策略提高處理效率。

    SaaS是基于云計(jì)算基礎(chǔ)平臺(tái)所開發(fā)的應(yīng)用程序。企業(yè)可以通過(guò)租用SaaS層服務(wù)解決企業(yè)信息化問(wèn)題，如企業(yè)通過(guò)GMail建立屬于該企業(yè)的電子郵件服務(wù)。該服務(wù)托管于Google的數(shù)據(jù)中心，企業(yè)不必考慮服務(wù)器的管理、維護(hù)問(wèn)題。對(duì)于普通用戶來(lái)講，SaaS層服務(wù)將桌面應(yīng)用程序遷移到互聯(lián)網(wǎng)，可實(shí)現(xiàn)應(yīng)用程序的泛在訪問(wèn)。

    表1

2.2服務(wù)管理層

    服務(wù)管理層對(duì)核心服務(wù)層的可用性、可靠性和安全性提供保障。服務(wù)管理包括服務(wù)質(zhì)量(QoS,quality of service)保證和安全管理等。

    云計(jì)算需要提供高可靠、高可用、低成本的個(gè)性化服務(wù)。然而云計(jì)算平臺(tái)規(guī)模龐大且結(jié)構(gòu)復(fù)雜，很難完全滿足用戶的QoS需求。為此，云計(jì)算服務(wù)提供商需要和用戶進(jìn)行協(xié)商，并制定服務(wù)水平協(xié)議(SLA,service level agreement )，使得雙方對(duì)服務(wù)質(zhì)量的需求達(dá)成一致。當(dāng)服務(wù)提供商提供的服務(wù)未能達(dá)到SLA的要求時(shí)，用戶將得到補(bǔ)償。

    此外，數(shù)據(jù)的安全性一直是用戶較為關(guān)心的問(wèn)題。云計(jì)算數(shù)據(jù)中心采用的資源集中式管理方式使得云計(jì)算平臺(tái)存在單點(diǎn)失效問(wèn)題。保存在數(shù)據(jù)中心的關(guān)鍵數(shù)據(jù)會(huì)因?yàn)橥话l(fā)事件(如地震、斷電)、病毒入侵、黑客攻擊而丟失或泄露。根據(jù)云計(jì)算服務(wù)特點(diǎn)，研究云計(jì)算環(huán)境下的安全與隱私保護(hù)技術(shù)(如數(shù)據(jù)隔離、隱私保護(hù)、訪問(wèn)控制等)是保證云計(jì)算得以廣泛應(yīng)用的關(guān)鍵。

    除了QoS保證、安全管理外，服務(wù)管理層還包括計(jì)費(fèi)管理、資源監(jiān)控等管理內(nèi)容，這些管理措施對(duì)云計(jì)算的穩(wěn)定運(yùn)行同樣起到重要作用。

    2.3用戶訪問(wèn)接口層

    用戶訪問(wèn)接口實(shí)現(xiàn)了云計(jì)算服務(wù)的泛在訪問(wèn)，通常包括命令行、Web月及務(wù)、Web門戶等形式。命令行和Web服務(wù)的訪問(wèn)模式既可為終端設(shè)備提供應(yīng)用程序開發(fā)接口，又便于多種服務(wù)的組合。Web門戶是訪問(wèn)接口的另一種模式。通過(guò)Web門戶，云計(jì)算將用戶的桌面應(yīng)用遷移到互聯(lián)網(wǎng)，從而使用戶隨時(shí)隨地通過(guò)瀏覽器就可以訪問(wèn)數(shù)據(jù)和程序，提高工作效率。雖然用戶通過(guò)訪問(wèn)接口使用便利的云計(jì)算服務(wù)，但是由于不同云計(jì)算服務(wù)商提供接口標(biāo)準(zhǔn)不同，導(dǎo)致用戶數(shù)據(jù)不能在不同服務(wù)商之間遷移。為此，在Intel , Sun和Cisco等公司的倡導(dǎo)下，云計(jì)算互操作論壇(CCIF, cloud computing interop-erability forum)宣告成立，并致力于開發(fā)統(tǒng)一的云計(jì)算接口(UCI, unified cloud interface)，以實(shí)現(xiàn)“全球環(huán)境下不同企業(yè)之間可利用云計(jì)算服務(wù)無(wú)縫協(xié)同工作”的目標(biāo)。

3云計(jì)算關(guān)鍵技術(shù)

    云計(jì)算的目標(biāo)是以低成本的方式提供高可靠、高可用、規(guī)模可伸縮的個(gè)性化服務(wù)。為了達(dá)到這個(gè)目標(biāo)，需要數(shù)據(jù)中心管理、虛擬化、海量數(shù)據(jù)處理、資源管理與調(diào)度、QoS保證、安全與隱私保護(hù)等若干關(guān)鍵技術(shù)加以支持。本節(jié)詳細(xì)介紹核心服務(wù)層與服務(wù)管理層涉及的關(guān)鍵技術(shù)和典型應(yīng)用，并從IaaS,PaaS、SaaS 3個(gè)方面依次對(duì)核心服務(wù)層進(jìn)行分析。

    3.1IaaS

    IaaS層是云計(jì)算的基礎(chǔ)。通過(guò)建立大規(guī)模數(shù)據(jù)中心，IaaS層為上層云計(jì)算服務(wù)提供海量硬件資源。同時(shí)，在虛擬化技術(shù)的支持下，IaaS層可以實(shí)現(xiàn)硬件資源的按需配置，并提供個(gè)性化的基礎(chǔ)設(shè)施服務(wù)?；谝陨蟽牲c(diǎn)，IaaS層主要研究2個(gè)問(wèn)題:①如何建設(shè)低成本、高效能的數(shù)據(jù)中心;②如何拓展虛擬化技術(shù)，實(shí)現(xiàn)彈性、可靠的基礎(chǔ)設(shè)施服務(wù)。

    3.1.1 數(shù)據(jù)中心相關(guān)技術(shù)

云計(jì)算:體系架構(gòu)與關(guān)鍵技術(shù)（二）

    與傳統(tǒng)的企業(yè)數(shù)據(jù)中心不同，云計(jì)算數(shù)據(jù)中心具有以下特點(diǎn):

    1)自治性。相較傳統(tǒng)的數(shù)據(jù)中心需要人工維護(hù)，云計(jì)算數(shù)據(jù)中心的大規(guī)模性要求系統(tǒng)在發(fā)生異常時(shí)能自動(dòng)重新配置，并從異常中恢復(fù)，而不影響服務(wù)的正常使用。

    2)規(guī)模經(jīng)濟(jì)。通過(guò)對(duì)大規(guī)模集群的統(tǒng)一化標(biāo)準(zhǔn)化管理，使單位設(shè)備的管理成本大幅降低。

    3)規(guī)?？蓴U(kuò)展。考慮到建設(shè)成本及設(shè)備更新?lián)Q代，云計(jì)算數(shù)據(jù)中心往往采用大規(guī)模高性價(jià)比的設(shè)備組成硬件資源，并提供擴(kuò)展規(guī)模的空間。

    基于以上特點(diǎn)，云計(jì)算數(shù)據(jù)中心的相關(guān)研究工作主要集中在以下2個(gè)方面:研究新型的數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)洌缘统杀?、高帶寬、高可靠的方式連接大規(guī)模計(jì)算節(jié)點(diǎn);研究有效的綠色節(jié)能技術(shù)，以提高效能比，減少環(huán)境污染.

    ①數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)

    目前，大型的云計(jì)算數(shù)據(jù)中心由上萬(wàn)個(gè)計(jì)算節(jié)點(diǎn)構(gòu)成，而且節(jié)點(diǎn)數(shù)量呈上升趨勢(shì)。計(jì)算節(jié)點(diǎn)的大規(guī)模性對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)的容錯(cuò)能力和可擴(kuò)展性帶來(lái)挑戰(zhàn)。

    然而，面對(duì)以上挑戰(zhàn)，傳統(tǒng)的樹型結(jié)構(gòu)網(wǎng)絡(luò)拓?fù)?如圖3所示)存在以下缺陷。首先，可靠性低，若匯聚層或核心層的網(wǎng)絡(luò)設(shè)備發(fā)生異常，網(wǎng)絡(luò)性能會(huì)大幅下降。其次，可擴(kuò)展性差，因?yàn)楹诵膶泳W(wǎng)絡(luò)設(shè)備的端口有限，難以支持大規(guī)模網(wǎng)絡(luò)。再次，網(wǎng)絡(luò)帶寬有限，在匯聚層，匯聚交換機(jī)連接邊緣層的網(wǎng)絡(luò)帶寬遠(yuǎn)大于其連接核心層的網(wǎng)絡(luò)帶寬(帶寬比例為80:1，甚至240:1)，所以對(duì)于連接在不同匯聚交換機(jī)的計(jì)算節(jié)點(diǎn)來(lái)說(shuō)，它們的網(wǎng)絡(luò)通信容易受到阻塞。

    為了彌補(bǔ)傳統(tǒng)拓?fù)浣Y(jié)構(gòu)的缺陷，研究者提出了VL2, Portland, DCell, BCube等新型的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。這些拓?fù)湓趥鹘y(tǒng)的樹型結(jié)構(gòu)中加入了類似于mesh的構(gòu)造，使得節(jié)點(diǎn)之間連通性與容錯(cuò)能力更高，易于負(fù)載均衡。同時(shí)，這些新型的拓?fù)浣Y(jié)構(gòu)利用小型交換機(jī)便可構(gòu)建，使得網(wǎng)絡(luò)建設(shè)成本降低，節(jié)點(diǎn)更容易擴(kuò)展。

    圖3傳統(tǒng)的樹型網(wǎng)絡(luò)拓?fù)?/p>

    以Portland為例來(lái)說(shuō)明網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，如圖4所示。Portland借鑒了Fat-Tree拓?fù)涞乃枷?，可以?k²/4個(gè)k口交換機(jī)連接k³/4個(gè)計(jì)算節(jié)點(diǎn)。Portland由邊緣層、匯聚層、核心層構(gòu)成。其中邊緣層和匯聚層可分解為若干Pod，每一個(gè)Pod含k臺(tái)交換機(jī)，分屬邊界層和匯聚層(每層k/2臺(tái)交換機(jī))。Pod內(nèi)部以完全二分圖的結(jié)構(gòu)相連。邊緣層交換機(jī)連接計(jì)算節(jié)點(diǎn)，每個(gè)Pod可連接k²/4個(gè)計(jì)算節(jié)點(diǎn)。匯聚層交換機(jī)連接核心層交換機(jī)，每個(gè)Pod連接k²/4臺(tái)核心層交換機(jī)?；赑ortland，可以保證任意兩點(diǎn)之間有多條通路，計(jì)算節(jié)點(diǎn)在任何時(shí)刻兩兩之間可無(wú)阻塞通信，從而滿足云計(jì)算數(shù)據(jù)中心高可靠性、高帶寬的需求。同時(shí)，Portland可以利用小型交換機(jī)連接大規(guī)模計(jì)算節(jié)點(diǎn)，既帶來(lái)良好的可擴(kuò)展性，又降低了數(shù)據(jù)中心的建設(shè)成本。

    圖4  Portland網(wǎng)絡(luò)拓?fù)?/p>

    云計(jì)算數(shù)據(jù)中心規(guī)模龐大，為了保證設(shè)備正常工作，需要消耗大量的電能。據(jù)估計(jì)，一個(gè)擁有50 000個(gè)計(jì)算節(jié)點(diǎn)的數(shù)據(jù)中心每年耗電量超過(guò)1億千瓦時(shí)，電費(fèi)達(dá)到930萬(wàn)美元。因此需要研究有效的綠色節(jié)能技術(shù)，以解決能耗開銷問(wèn)題。實(shí)施綠色節(jié)能技術(shù)，不僅可以降低數(shù)據(jù)中心的運(yùn)行開銷，而且能減少二氧化碳的排放，有助于環(huán)境保護(hù)。

    當(dāng)前，數(shù)據(jù)中心能耗問(wèn)題得到工業(yè)界和學(xué)術(shù)界廣泛關(guān)注。Google的分析表明，云計(jì)算數(shù)據(jù)中心的能源開銷主要來(lái)自計(jì)算機(jī)設(shè)備、不間斷電源、供電單元、冷卻裝置、新風(fēng)系統(tǒng)、增濕設(shè)備及附屬設(shè)施(如照明、電動(dòng)門等)。如圖5所示，IT設(shè)備和冷卻裝置的能耗比重較大。因此，需要首先針對(duì)IT設(shè)備能耗和制冷系統(tǒng)進(jìn)行研究，以優(yōu)化數(shù)據(jù)中心的能耗總量或在性能與能耗之間尋求最佳的折衷。針對(duì)IT設(shè)備能耗優(yōu)化問(wèn)題，Nathuji等人提出一種面向數(shù)據(jù)中心虛擬化的自適應(yīng)能耗管理系統(tǒng)Virtual Power，該系統(tǒng)通過(guò)集成虛擬化平臺(tái)自身具備的能耗管理策略，以虛擬機(jī)為單位為數(shù)據(jù)中心提供一種在線能耗管理能力。Pallipadi等人根據(jù)CPU利用率，控制和調(diào)整CPU頻率以達(dá)到優(yōu)化IT設(shè)備能耗的目的。Rao等人研究多電力市場(chǎng)環(huán)境中，如何在保證服務(wù)質(zhì)量前提下優(yōu)化數(shù)據(jù)中心能耗總量的問(wèn)題。針對(duì)制冷系統(tǒng)能耗優(yōu)化問(wèn)題，Samadiani等人綜合考慮空間大小、機(jī)架和風(fēng)扇的擺放以及空氣的流動(dòng)方向等因素，提出一種多層次的數(shù)據(jù)中心冷卻設(shè)備設(shè)計(jì)思路，并對(duì)空氣流和熱交換進(jìn)行建模和仿真，為數(shù)據(jù)中心布局提供理論支持。此外，數(shù)據(jù)中心建成以后，可采用動(dòng)態(tài)制冷策略降低能耗。例如對(duì)于處于休眠的服務(wù)器，可適當(dāng)關(guān)閉一些制冷設(shè)施或改變冷氣流的走向，以節(jié)約成本。

    圖5 數(shù)據(jù)中心的能耗分布

    3.1.2虛擬化技術(shù)

    數(shù)據(jù)中心為云計(jì)算提供了大規(guī)模資源。為了實(shí)現(xiàn)基礎(chǔ)設(shè)施服務(wù)的按需分配，需要研究虛擬化技術(shù)。虛擬化是IaaS層的重要組成部分，也是云計(jì)算的最重要特點(diǎn)。虛擬化技術(shù)可以提供以下特點(diǎn)。

    1)資源分享。通過(guò)虛擬機(jī)封裝用戶各自的運(yùn)行環(huán)境，有效實(shí)現(xiàn)多用戶分享數(shù)據(jù)中心資源。

    2)資源定制。用戶利用虛擬化技術(shù)，配置私有的服務(wù)器，指定所需的CPU數(shù)目、內(nèi)存容量、磁盤空間，實(shí)現(xiàn)資源的按需分配。

    3)細(xì)粒度資源管理。將物理服務(wù)器拆分成若干虛擬機(jī)，可以提高服務(wù)器的資源利用率，減少浪費(fèi)，而且有助于服務(wù)器的負(fù)載均衡和節(jié)能。

    基于以上特點(diǎn)，虛擬化技術(shù)成為實(shí)現(xiàn)云計(jì)算資源池化和按需服務(wù)的基礎(chǔ)。為了進(jìn)一步滿足云計(jì)算彈性服務(wù)和數(shù)據(jù)中心自治性的需求，需要研究虛擬機(jī)快速部署和在線遷移技術(shù)。

    傳統(tǒng)的虛擬機(jī)部署分為4個(gè)階段:創(chuàng)建虛擬機(jī);安裝操作系統(tǒng)與應(yīng)用程序;配置主機(jī)屬性(如網(wǎng)絡(luò)、主機(jī)名等):啟動(dòng)虛擬機(jī)。該方法部署時(shí)間較長(zhǎng)，達(dá)不到云計(jì)一算彈性服務(wù)的要求。盡管可以通過(guò)修改虛擬機(jī)配置(如增減CPU數(shù)目、磁盤空間、內(nèi)存容量)改變單臺(tái)虛擬機(jī)性能，但是更多情況下云計(jì)算需要快速擴(kuò)張?zhí)摂M機(jī)集群的規(guī)模。

    為了簡(jiǎn)化虛擬機(jī)的部署過(guò)程，虛擬機(jī)模板技術(shù)。被應(yīng)用于大多數(shù)云計(jì)算平臺(tái)。虛擬機(jī)模板預(yù)裝了操作系統(tǒng)與應(yīng)用軟件，并對(duì)虛擬設(shè)備進(jìn)行了預(yù)配置，可以有效減少虛擬機(jī)的部署時(shí)間。然而虛擬機(jī)模板技術(shù)仍不能滿足快速部署的需求:

    一方面，將模板轉(zhuǎn)換成虛擬機(jī)需要復(fù)制模板文件，當(dāng)模板文件較大時(shí)，復(fù)制的時(shí)間開悄不可忽視;

    另一方面，因?yàn)閼?yīng)用程序沒有加載到內(nèi)存，所以通過(guò)虛擬機(jī)模板轉(zhuǎn)換的虛擬機(jī)需要在啟動(dòng)或加載內(nèi)存鏡像后，方可提供服務(wù)。為此，有學(xué)者提出了基于fork思想的虛擬機(jī)部署方式。該方式受操作系統(tǒng)的fork原語(yǔ)啟發(fā)，可以利用父虛擬機(jī)迅速克隆出大量子虛擬機(jī)。與進(jìn)程級(jí)的fork相似，基于虛擬機(jī)級(jí)的fork.子虛擬機(jī)可以繼承父虛擬機(jī)的內(nèi)存狀態(tài)信息，并在創(chuàng)建后即時(shí)可用。當(dāng)部署大規(guī)模虛擬機(jī)時(shí)，子虛擬機(jī)可以并行創(chuàng)建，并維護(hù)其獨(dú)立的內(nèi)存空間，而不依賴于父虛擬機(jī)。為了減少文件的復(fù)制開銷，虛擬機(jī)fork采用了“寫時(shí)復(fù)制”(COW, copy-on-write)技術(shù):子虛擬機(jī)在執(zhí)行“寫操作”時(shí)，將更新后的文件寫入本機(jī)磁盤:在執(zhí)行“讀操作”時(shí)，通過(guò)判斷該文件是否已被更新，確定本機(jī)磁盤或父虛擬機(jī)的磁盤讀取文件。在虛擬機(jī)fork技術(shù)的相關(guān)研究工作中，Potemkin項(xiàng)目實(shí)現(xiàn)了虛擬機(jī)fork技術(shù)，并可在1s內(nèi)完成虛擬機(jī)的部署或刪除，但要求父虛擬機(jī)和子虛擬機(jī)在相同的物理機(jī)上。Lagar-Cavilla等人研究了分布式環(huán)境下的并行虛擬機(jī)fork技術(shù)[26]該技術(shù)可以在1s內(nèi)完成32臺(tái)虛擬機(jī)的部署。虛擬機(jī)fork是一種即時(shí)(on-demand )部署技術(shù)，雖然提高了部署效率，但通過(guò)該技術(shù)部署的子虛擬機(jī)不能持久化保存。

    2)虛擬機(jī)在線遷移技術(shù)

    虛擬機(jī)在線遷移是指虛擬機(jī)在運(yùn)行狀態(tài)下從一臺(tái)物理機(jī)移動(dòng)到另一臺(tái)物理機(jī)。虛擬機(jī)在線遷移技術(shù)對(duì)云計(jì)算平臺(tái)有效管理具有重要意義。

    ①提高系統(tǒng)可靠性。一方面，當(dāng)物理機(jī)需要維護(hù)時(shí)，可以將運(yùn)行于該物理機(jī)的虛擬機(jī)轉(zhuǎn)移到其他物理機(jī)。另一方面，可利用在線遷移技術(shù)完成虛擬機(jī)運(yùn)行時(shí)備份，當(dāng)主虛擬機(jī)發(fā)生異常時(shí)，可將服務(wù)無(wú)縫切換至備份虛擬機(jī)。

    ②有利于負(fù)載均衡。當(dāng)物理機(jī)負(fù)載過(guò)重時(shí)，可以通過(guò)虛擬機(jī)遷移達(dá)到負(fù)載均衡，優(yōu)化數(shù)據(jù)中心性能。

    ③有利于設(shè)計(jì)節(jié)能方案。通過(guò)集中零散的虛擬機(jī)，可使部分物理機(jī)完全空閑，以便關(guān)閉這些物理機(jī)(或使物理機(jī)休眠)，達(dá)到節(jié)能目的。

    此外，虛擬機(jī)的在線遷移對(duì)用戶透明，云計(jì)算平臺(tái)可以在不影響服務(wù)質(zhì)量的情況下優(yōu)化和管理數(shù)據(jù)中心。在線遷移技術(shù)于2005年由Clark等人提出，通過(guò)迭代的預(yù)復(fù)制(pre-copy)策略同步遷移前后的虛擬機(jī)的狀態(tài)。傳統(tǒng)的虛擬機(jī)遷移是在LAN中進(jìn)行的，為了在數(shù)據(jù)中心之間完成虛擬機(jī)在線遷移，Hirofuchi等人介紹了一種在WAN環(huán)境下的遷移方法。這種方法在保證虛擬機(jī)數(shù)據(jù)一致性的前提下，盡可能少地犧牲虛擬機(jī)I/O性能，加快遷移速度。利用虛擬機(jī)在線遷移技術(shù)，Remus系統(tǒng)設(shè)計(jì)了虛擬機(jī)在線備份方法。當(dāng)原始虛擬機(jī)發(fā)生錯(cuò)誤時(shí)，系統(tǒng)可以立即切換到備份虛擬機(jī)，而不會(huì)影響到關(guān)鍵任務(wù)的執(zhí)行，提高了系統(tǒng)可靠性。

    3.1.3典型的IaaS層平臺(tái)

    本節(jié)介紹了3種典型的IaaS平臺(tái)，包括AmazonEC2, Eucalyptus和東南大學(xué)云計(jì)算平臺(tái)。

    Amazon彈性計(jì)算云(EC2，elastic computingcloud)為公眾提供基于Xen虛擬機(jī)的基礎(chǔ)設(shè)施服務(wù)。Amazon EC2的虛擬機(jī)分為標(biāo)準(zhǔn)型、高內(nèi)存型、高性能型等多種類型，每一種類型的價(jià)格各不相同。用戶可以根據(jù)自身應(yīng)用的特點(diǎn)與虛擬機(jī)價(jià)格，定制虛擬機(jī)的硬件配置和操作系統(tǒng)。Amazon EC2的計(jì)費(fèi)系統(tǒng)根據(jù)用戶的使用情況(一般為使用時(shí)間)對(duì)用戶收費(fèi)。在彈性服務(wù)方面，Amazon EC2可以根據(jù)用戶自定義的彈性規(guī)則，擴(kuò)張或收縮虛擬機(jī)集群規(guī)模。目前，Amazon EC2已擁有Ericsson, Active.com, Autodesk等大量用戶。

    Eucalyptus是加州大學(xué)圣巴巴拉分校開發(fā)的開源IaaS平臺(tái)。區(qū)別于Amazon EC2等商業(yè)IaaS平臺(tái)，Eucalyptus的設(shè)計(jì)目標(biāo)是成為研究和發(fā)展云計(jì)算的基礎(chǔ)平臺(tái)。為了實(shí)現(xiàn)這個(gè)目標(biāo)，Eucalyptus的設(shè)計(jì)強(qiáng)調(diào)開源化、模塊化，以便研究者對(duì)各功能模塊升級(jí)、改造和更換。目前，Eucalyptus已實(shí)現(xiàn)了和Amazon EC2相兼容的API，并部署于全球各地的研究機(jī)構(gòu)。

    東南大學(xué)云計(jì)算平臺(tái)面向計(jì)算密集型和數(shù)據(jù)密集型應(yīng)用，由3 500顆CPU內(nèi)核和SOOTB高速存儲(chǔ)設(shè)備構(gòu)成，提供37萬(wàn)億次浮點(diǎn)計(jì)算能力。其基礎(chǔ)設(shè)施服務(wù)不僅支持Xen,  KVM,   VMware等虛擬化技術(shù)，而且支持物理計(jì)算節(jié)點(diǎn)的快速部署，可根據(jù)科研人員的應(yīng)用需求，為其按需配置物理的或虛擬的私有計(jì)算集群，并自動(dòng)安裝操作系統(tǒng)、應(yīng)用軟件。由于部分高性能計(jì)算應(yīng)用對(duì)網(wǎng)絡(luò)延時(shí)敏感，其數(shù)據(jù)中心利用40Gbit/s QDR InfiniBand作為數(shù)據(jù)傳輸網(wǎng)絡(luò)，提供高帶寬低延時(shí)的網(wǎng)絡(luò)服務(wù)。目前，東南大學(xué)云計(jì)算平臺(tái)承擔(dān)了AMS-02(見第5節(jié))數(shù)據(jù)分析處理、電磁仿真、分子動(dòng)力學(xué)模擬等科學(xué)計(jì)算任務(wù)。

    PaaS層作為3層核心服務(wù)的中間層，既為上層應(yīng)用提供簡(jiǎn)單、可靠的分布式編程框架，又需要基于底層的資源信息調(diào)度作業(yè)、管理數(shù)據(jù)，屏蔽底層系統(tǒng)的復(fù)雜性。隨著數(shù)據(jù)密集型應(yīng)用的普及和數(shù)據(jù)規(guī)模的日益龐大，PaaS層需要具備存儲(chǔ)與處理海量數(shù)據(jù)的能力。本節(jié)先介紹PaaS層的海量數(shù)據(jù)存儲(chǔ)與處理技術(shù)，然后討論基于這些技術(shù)的資源管理與調(diào)度策略。

    3.2.1海量數(shù)據(jù)存儲(chǔ)與處理技術(shù)

    1)海量數(shù)據(jù)存儲(chǔ)技術(shù)

    云計(jì)算環(huán)境中的海量數(shù)據(jù)存儲(chǔ)既要考慮存儲(chǔ)系統(tǒng)的I/O性能，又要保證文件系統(tǒng)的可靠性與可用性。

    Ghemawat等人為Google設(shè)計(jì)了GFS( googlefile system。根據(jù)Google應(yīng)用的特點(diǎn)，GFS對(duì)其應(yīng)用環(huán)境做了6點(diǎn)假設(shè):①系統(tǒng)架設(shè)在容易失效的硬件平臺(tái)上;②需要存儲(chǔ)大量GB級(jí)甚至TB級(jí)的大文件;③文件讀操作以大規(guī)模的流式讀和小規(guī)模的隨機(jī)讀構(gòu)成;④文件具有一次寫多次讀的特點(diǎn);⑤系統(tǒng)需要有效處理并發(fā)的追加寫操作;⑥高持續(xù)I/O帶寬比低傳輸延遲重要。

    圖6展示了GFS的執(zhí)行流程。在GFS中，一個(gè)大文件被劃分成若干固定大小(如64MB)的數(shù)據(jù)塊，并分布在計(jì)算節(jié)點(diǎn)的本地硬盤，為了保證數(shù)據(jù)可靠性，每一個(gè)數(shù)據(jù)塊都保存有多個(gè)副本，所有文件和數(shù)據(jù)塊副本的元數(shù)據(jù)由元數(shù)據(jù)管理節(jié)點(diǎn)管理。GFS的優(yōu)勢(shì)在于:①由于文件的分塊粒度大，GFS可以存取PB級(jí)的超大文件;②通過(guò)文件的分布式存儲(chǔ)，GFS可并行讀取文件，提供高I/O吞吐率；③鑒于上述假設(shè)4，GFS可以簡(jiǎn)化數(shù)據(jù)塊副本間的數(shù)據(jù)同步問(wèn)題;④文件塊副本策略保證了文件可靠性。

    Bigtable是基于GFS開發(fā)的分布式存儲(chǔ)系統(tǒng)，它將提高系統(tǒng)的適用性、可擴(kuò)展性、可用性和存儲(chǔ)性能作為設(shè)計(jì)目標(biāo)。Bigtable的功能與分布式數(shù)據(jù)庫(kù)類似，用以存儲(chǔ)結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)，為Google應(yīng)用(如搜索引擎、Google Earth等)提供數(shù)據(jù)存儲(chǔ)與查詢服務(wù)。在數(shù)據(jù)管理方面，Bigtable將一整張數(shù)據(jù)表拆分成許多存儲(chǔ)于GFS的子表，并由分布式鎖服務(wù)Chubby負(fù)責(zé)數(shù)據(jù)一致性管理。在數(shù)據(jù)模型方面，Bigtable以行名、列名、時(shí)間戳建立索引，表中的數(shù)據(jù)項(xiàng)由無(wú)結(jié)構(gòu)的字節(jié)數(shù)組表示。這種靈活的數(shù)據(jù)模型保證Bigtable適用于多種不同應(yīng)用環(huán)境。圖7展示了如何在Bigtable中存儲(chǔ)網(wǎng)頁(yè)，其中t1~t5為時(shí)間戮。

    由于Bigtable需要管理節(jié)點(diǎn)集中管理元數(shù)據(jù)，所以存在性能瓶頸和單點(diǎn)失效問(wèn)題。為此，DeCandia等人設(shè)計(jì)了基于P2P結(jié)構(gòu)的Dynamo存儲(chǔ)系統(tǒng)，并應(yīng)用于Amazon的數(shù)據(jù)存儲(chǔ)平臺(tái)。借助于P2P技術(shù)的特點(diǎn)，Dynamo允許使用者根據(jù)工作負(fù)載動(dòng)態(tài)調(diào)整集群規(guī)模。另外，在可用性方面，Dynamo采用零跳分布式散列表結(jié)構(gòu)降低操作響應(yīng)時(shí)間;在可靠性方面，Dynamo利用文件副本機(jī)制應(yīng)對(duì)節(jié)點(diǎn)失效。由于保證副本強(qiáng)一致性會(huì)影響系統(tǒng)性能，所以，為了承受每天數(shù)千萬(wàn)的并發(fā)讀寫請(qǐng)求，Dynamo中設(shè)計(jì)了最終一致性模型，弱化副本一致性，保證提高性能。

    圖6  GFS執(zhí)行流程

云計(jì)算:體系架構(gòu)與關(guān)鍵技術(shù)（三）