 一般情況下，我們將存儲分成了4種類型，基于本機(jī)的DAS和網(wǎng)絡(luò)的NAS存儲、SAN存儲、對象存儲。對象存儲是SAN存儲和NAS存儲結(jié)合后的產(chǎn)物，汲取了SAN存儲和NAS存儲的優(yōu)點。 1.DAS DAS將計算、存儲能力一把抓，封裝在一個服務(wù)器里。大家日常用的電腦，就是一個DAS系統(tǒng)。 2.NAS 如果將計算和存儲分離了，存儲成為一個獨(dú)立的設(shè)備，并且存儲有自己的文件系統(tǒng)，可以自己管理數(shù)據(jù)，就是NAS。所以NAS存儲可以被不同的主機(jī)共享。服務(wù)器只要提需求，不需要進(jìn)行大量的計算，將很多工作交給了存儲完成，省下的CPU資源可以干更多服務(wù)器想干的事情，即計算密集型適合使用NAS。 3.NAS 計算和存儲分離了，存儲成為一個獨(dú)立的設(shè)備，存儲只是接受命令不再做復(fù)雜的計算，只干讀取或者寫入文件2件事情，叫SAN。 因為不帶文件系統(tǒng)，所以也叫“裸存儲”，有些應(yīng)用就需要裸設(shè)備，如數(shù)據(jù)庫。存儲只接受簡單明了的命令，其他復(fù)雜的事情，有服務(wù)器端干了。再配合FC網(wǎng)絡(luò)，這種存儲數(shù)據(jù)讀取/寫入的速度很高。 但是每個服務(wù)器都有自己的文件系統(tǒng)進(jìn)行管理，對于存儲來說是不挑食的只要來數(shù)據(jù)我就存，不需要知道來的是什么，不管是英語還是法語，都忠實記錄下來的。但是只有懂英語的才能看懂英語的數(shù)據(jù)，懂法語的看懂法語的數(shù)據(jù)。所以，一般服務(wù)器和SAN存儲區(qū)域是一夫一妻制的，SAN的共享性不好。當(dāng)然，有些裝了集群文件系統(tǒng)的主機(jī)是可以共享同一個存儲區(qū)域的。 4.對象存儲 對象存儲大量使用在互聯(lián)網(wǎng)上，大家使用的網(wǎng)盤就是典型的對象存儲。對象存儲有很好的擴(kuò)展性，可以線性擴(kuò)容。并可以通過接口封裝，還可以提供NAS存儲服務(wù)和SAN存儲服務(wù)。 VMware的vSAN本質(zhì)就是一個對象存儲。  普通存儲方案：Rsync、DAS(IDE/SATA/SAS/SCSI等塊)、NAS(NFS、CIFS、SAMBA等文件系統(tǒng))、SAN(FibreChannel, iSCSI, FoE存儲網(wǎng)絡(luò)塊)，Openfiler、FreeNas(ZFS快照復(fù)制)由于生產(chǎn)環(huán)境中往往由于對存儲數(shù)據(jù)量很大，而SAN存儲價格又比較昂貴，因此大多會選擇分布式存儲 GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自適用于不同的領(lǐng)域。它們都不是系統(tǒng)級的分布式文件系統(tǒng)，而是應(yīng)用級的分布式文件存儲服務(wù)。
TFS（Taobao File System）是由淘寶開發(fā)的一個分布式文件系統(tǒng)，其內(nèi)部經(jīng)過特殊的優(yōu)化處理，適用于海量的小文件存儲，主要針對海量的非結(jié)構(gòu)化數(shù)據(jù)，它構(gòu)筑在普通的Linux機(jī)器 集群上，可為外部提供高可靠和高并發(fā)的存儲訪問。目前已經(jīng)對外開源； TFS采用自有的文件系統(tǒng)格式存儲，因此需要專用的API接口去訪問，目前官方提供的客戶端版本有：C /JAVA/PHP。
FastDFS是國人開發(fā)的一款分布式文件系統(tǒng)，目前社區(qū)比較活躍。如上圖所示系統(tǒng)中存在三種節(jié)點：Client、Tracker、Storage，在底層存儲上通過邏輯的分組概念，使得通過在同組內(nèi)配置多個Storage，從而實現(xiàn)軟RAID10,提升并發(fā)IO的性能、簡單負(fù)載均衡及數(shù)據(jù)的冗余備份；同時通過線性的添加新的邏輯存儲組，從容實現(xiàn)存儲容量的線性擴(kuò)容。 文件下載上，除了支持通過API方式，目前還提供了apache和nginx的插件支持，同時也可以不使用對應(yīng)的插件，直接以Web靜態(tài)資源方式對外提供下載。 目前FastDFS(V4.x)代碼量大概6w多行，內(nèi)部的網(wǎng)絡(luò)模型使用比較成熟的libevent三方庫，具備高并發(fā)的處理能力。 操作和部署過程：https://www.jianshu.com/p/b7c330a87855
Hadoop 實現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。Hadoop是Apache Lucene創(chuàng)始人Doug Cutting開發(fā)的使用廣泛的文本搜索庫。它起源于Apache Nutch， 后者是一個開源的網(wǎng)絡(luò)搜索引擎，本身也是Luene項目的一部分。Aapche Hadoop架構(gòu)是MapReduce算法的一種開源應(yīng)用，是Google開創(chuàng)其帝國的重要基石。
Google公司為了滿足本公司需求而開發(fā)的基于Linux的專有分布式文件系統(tǒng)。盡管Google公布了該系統(tǒng)的一些技術(shù)細(xì)節(jié)，但Google并沒有將該系統(tǒng)的軟件部分作為開源軟件發(fā)布。 原文：https://blog.csdn.net/ZZQHELLO2018/article/details/105660628
|
|
|
