隨著云計算應用滲透到人們工作、生活的方方面面,基于云計算、大數(shù)據(jù)的應用業(yè)務(wù)已經(jīng)大規(guī)模的落地實施,作為數(shù)據(jù)存儲中心的海量存儲系統(tǒng)有力的支撐了云計算業(yè)務(wù)的應用和快速發(fā)展,海量存儲系統(tǒng)平臺也就成為云計算建設(shè)過程中必須規(guī)劃、并首先要落地實施的工作。 相比于傳統(tǒng)的應用環(huán)境,云計算環(huán)境中的應用業(yè)務(wù)數(shù)量更多、對存儲系統(tǒng)性能的要求也存在著多樣性的差異,這也就使得面向云計算、大數(shù)據(jù)的海量存儲系統(tǒng)必須能夠提供差異化的IO存儲服務(wù)、以及持續(xù)的在線運行和高效、可靠的容錯機制。其中海量數(shù)據(jù)的冗余保護機制是面向云計算的海量存儲系統(tǒng)必須擁有的一個重要特征。
傳統(tǒng)數(shù)據(jù)冗余保護不適于云計算時代的海量數(shù)據(jù)存儲需求 傳統(tǒng)的存儲陣列所采取的數(shù)據(jù)冗余技術(shù)主要包括RAID技術(shù)、副本、快照、鏡像、數(shù)據(jù)同步等方式,這些技術(shù)分別具備獨有的特點,適用于不同的應用場景。 副本,是最簡單的數(shù)據(jù)冗余策略,即統(tǒng)一存儲系統(tǒng)中存儲同一份數(shù)據(jù)的多個相同拷貝,只要這些拷貝中的一個有效,就能訪問該數(shù)據(jù)。數(shù)據(jù)的副本越多、數(shù)據(jù)的可用性越高、可靠性越高,存儲空間的利用率也就越低。 快照,是關(guān)于特定數(shù)據(jù)集的一個拷貝,該拷貝包括相應數(shù)據(jù)在某個時間點的映像。根據(jù)實現(xiàn)方式分為全拷貝快照、差分快照、增量快照。全拷貝快照數(shù)據(jù)可用性好,但是存儲空間利用效率低;差分快照和增量快照存在著“空窗期”。 鏡像,存儲系統(tǒng)在接受數(shù)據(jù)寫入時執(zhí)行的是寫入兩份操作,即同一份數(shù)據(jù)分別寫入兩個存儲設(shè)備中。根據(jù)寫入的策略不同,分為同步鏡像、異步鏡像。數(shù)據(jù)鏡像能夠提供較好的數(shù)據(jù)冗余、也給存儲帶來兩倍的壓力,而且存儲系統(tǒng)只有50%的空間利用率。 數(shù)據(jù)同步,是在主存儲系統(tǒng)和備份存儲系統(tǒng)之間實行的數(shù)據(jù)拷貝操作,數(shù)據(jù)同步的寫入操作存在較大的時間延遲,較大的限制了其部署環(huán)境。 RAID技術(shù),是把多塊獨立的存儲磁盤按不同的方式組合起來形成一個存儲磁盤組,提供比單個硬盤更高的存儲性能和數(shù)據(jù)冗余保護。根據(jù)組成磁盤組的方式差異,設(shè)定了RAID級別。RAID技術(shù)提高了存儲空間資源的利用率,只能提供單點存儲系統(tǒng)的數(shù)據(jù)保護,不能滿足大容量、分布式存儲系統(tǒng)的應用。 RAID技術(shù)是在1GB驅(qū)動器出現(xiàn)前發(fā)明的,隨著磁盤存儲密度的提高,企業(yè)級存儲磁盤容量已經(jīng)達到2TB、3TB、4TB ,并出現(xiàn)6TB磁盤。采用高存儲密度構(gòu)建的RAID磁盤組,出現(xiàn)磁盤故障需要修正TB級別的數(shù)據(jù)時重建過程需要的時間較長,常常需要一天或者更長的時間;特別是在生產(chǎn)系統(tǒng)中,重建時間更長。在長時間重建大容量存儲內(nèi)容時,組成RAID組的第二個磁盤、第三個磁盤出現(xiàn)故障的可能性會大大增加;在重建過程中,一個磁盤故障明顯加大了其它磁盤的訪問負載,使得其它磁盤故障出現(xiàn)的概率急劇增加,較大的影響了存儲系統(tǒng)的可用性。 針對傳統(tǒng)數(shù)據(jù)冗余保護技術(shù)在大容量磁盤存儲系統(tǒng)中所表現(xiàn)出的不足,以分布式、大規(guī)模、大容量磁盤存儲為特點的海量存儲系統(tǒng)中出現(xiàn)了一種更加高效的數(shù)據(jù)冗余技術(shù)--糾刪碼。
云時代的數(shù)據(jù)冗余保護機制--糾刪碼 糾刪碼起源于通信傳輸領(lǐng)域,目前逐漸出現(xiàn)在大規(guī)模存儲系統(tǒng)中,特別是分布式存儲環(huán)境,用于實現(xiàn)數(shù)據(jù)的冗余保護。糾刪碼冗余保護技術(shù)解決了傳統(tǒng)冗余保護技術(shù)不適于分布式生產(chǎn)存儲系統(tǒng)的問題。 糾刪碼技術(shù)基本思想是將一份數(shù)據(jù)劃分為k塊原始的數(shù)據(jù),基于k塊原始數(shù)據(jù)冗余計算獲得m塊冗余數(shù)據(jù)。對于這k+m塊數(shù)據(jù),其中任意的m塊元素出錯時,存儲系統(tǒng)均可以通過重構(gòu)算法恢復出原來的k塊數(shù)據(jù),如下圖所示。 基于糾刪碼的方法與傳統(tǒng)的鏡像、副本技術(shù)相比,具有冗余度低、磁盤利用率高等優(yōu)點。針對云計算、大數(shù)據(jù)業(yè)務(wù)對海量存儲系統(tǒng)的多樣性、大規(guī)模存儲容量需求,浪潮推出了面向云計算、大數(shù)據(jù)的高性能、統(tǒng)一存儲系統(tǒng)AS13000,AS13000海量存儲系統(tǒng)所采用糾刪碼技術(shù)能夠較好的適應云計算數(shù)據(jù)的分布式存儲應用環(huán)境。 AS13000存儲系統(tǒng)支持N+M格式的糾刪碼,級別有:N+1、N+2、N+3和N+4,在這種N+M數(shù)據(jù)模型中,N代表原始數(shù)據(jù)塊數(shù)量,M代表在不發(fā)生數(shù)據(jù)丟失的前提下海量存儲系統(tǒng)所允許發(fā)生的同時故障的數(shù)據(jù)塊數(shù)目。如,N+2允許海量存儲中丟失兩個數(shù)據(jù)塊、或者同時丟失兩個節(jié)點。如下圖。 浪潮AS13000海量存儲系統(tǒng)支持文件多個副本冗余存儲,提高了數(shù)據(jù)持續(xù)可用性,但也會花費三倍的存儲資源和運營成本。針對云計算和大數(shù)據(jù)應用所要求的高效率的存儲需求,浪潮AS13000海量存儲系統(tǒng)融合了糾刪碼冗余保護機制,有效地實現(xiàn)了更低的運行成本,同時保證了海量數(shù)據(jù)的存儲可靠性和持續(xù)可用性。 采用糾刪碼冗余保護技術(shù)的AS13000海量存儲系統(tǒng)是面向云計算、大數(shù)據(jù)存儲需求而推出的新一代海量存儲系統(tǒng),它整合了集群、網(wǎng)絡(luò)、分布式文件系統(tǒng)、分布式SAN存儲系統(tǒng)、分布式對象存儲系統(tǒng)等高端存儲技術(shù),能夠以統(tǒng)一的存儲系統(tǒng)、統(tǒng)一的IO入口滿足云計算、大數(shù)據(jù)業(yè)務(wù)對存儲空間、數(shù)據(jù)訪問服務(wù)的多樣性存儲需求,也將進一步推動云計算、大數(shù)據(jù)應用的落地進程。 |
|