Linux + Nginx + mysql + python 平臺。

每天有1000萬小組話題，1600萬組照片，200G結(jié)構(gòu)化數(shù)據(jù)，800G文本，10T圖片，2T日志，6T音樂，2T各種備份數(shù)據(jù)。

針對這些數(shù)據(jù)，我們需要考慮。

1、  可靠性。（持久性，一致性）

2、  可用性。

3、  伸縮性。

4、  性能。

5、  成本。

將這些數(shù)據(jù)再進行分類，可以分為結(jié)構(gòu)化數(shù)據(jù)（關(guān)系，廣播等），小文件（圖片，文章，音樂等），大文件（備份，日志等）。

一、結(jié)構(gòu)化數(shù)據(jù)。

（一）、特點。

1、結(jié)構(gòu)固定。

2、可按條件查詢

3、記錄小而且多。

4、數(shù)據(jù)之間有關(guān)聯(lián)。

5、可以批量查詢。

（二）管理。采用mysql管理。

1、結(jié)構(gòu)化存儲。

2、多索引。

3、支持事務(wù)等。

（三）mysql實踐一。

1、使用InnoDB引擎。

2、使用基本查詢，外部join。（將join放在邏輯層去處理，這樣大大提高了mysql查詢的效率。）

3、通過memcache降低服務(wù)器端壓力。

4、分庫，分表（垂直分表）。

5、分離文本字段。

（四）mysql實踐二

1、Master(RW)  ?à  Master(備份)  à  Slave(容錯)

2、雙SCSI硬盤做Raid0

3、半自動Fail Over

4、多實例混合部署。

二、小文件處理。

（一）、特點

1、訪問方式：get set delete

2、高可用。Fail-Over

3、大空間：10K-5M 增長快。

4、用戶數(shù)據(jù)，很重要。

5、基本無修改，一致性要求低。

6、隨機訪問，高并發(fā)，大量IO操作。

（二）單機存儲。

1、reiserfs。

2、本地，遠程，WEBDAV，NFS

3、目錄結(jié)構(gòu)。

4、用rsync備份即可。

（三）多級存儲。

1、MogileFS

2、瓶頸是 Tracker(Mysql)

3、數(shù)據(jù)遷移比較慢。

（四）BeansDB

1、Hash存儲，不需要中心節(jié)點。

2、數(shù)據(jù)庫存儲，TokyoCabimet.

3、每個區(qū)間對應(yīng)多個節(jié)點。

4、復(fù)制：客戶端寫多次。

5、依次讀取，直到有數(shù)據(jù)。

6、Hash Tree ，快速同步。