我在公司的數(shù)據(jù)部門工作，每天的訂單類數(shù)據(jù)處理流程大致如下：

1. 刪除分析數(shù)據(jù)庫的歷史訂單數(shù)據(jù)
2. 全量更新訂單數(shù)據(jù)到分析數(shù)據(jù)庫。（由于訂單核心數(shù)據(jù)不大，所以經(jīng)受得起這么折騰）
3. 將數(shù)據(jù)簡單清洗，并生成數(shù)據(jù)集市層
4. 分析處理，產(chǎn)出報(bào)表。當(dāng)然還有其他的數(shù)據(jù)也是這么處理的（比如產(chǎn)品的數(shù)據(jù)、景區(qū)的數(shù)據(jù)、票種的數(shù)據(jù)、供應(yīng)商的數(shù)據(jù)等等）

還有日志類的數(shù)據(jù)，這里不是重點(diǎn)，就不介紹了！這么干了一年，發(fā)現(xiàn)有如下問題：

• 業(yè)務(wù)變化很快，比如業(yè)務(wù)數(shù)據(jù)表經(jīng)常變化字段含義、增加各種邏輯數(shù)據(jù)等
• 業(yè)務(wù)數(shù)據(jù)源越來越多，隨著品類越來越多，新部門逐步成立，數(shù)據(jù)源也就越來越多樣化
• 需求越來越多，越來越復(fù)雜，以前只有大佬想我們要戰(zhàn)略數(shù)據(jù)，可是現(xiàn)在所有的產(chǎn)品和運(yùn)營都向我們要各種各樣的用戶行為數(shù)據(jù)、訂單分析數(shù)據(jù)和競對優(yōu)勢數(shù)據(jù)
• 數(shù)據(jù)的實(shí)時行要求越來越高，這到不是說秒級別就看見結(jié)果，而是早晨提出個新業(yè)務(wù)數(shù)據(jù)需求，晚上就要！

數(shù)據(jù)畢竟是為了市場服務(wù)的，所以需求我們要跟上它的節(jié)奏，這就對數(shù)據(jù)系統(tǒng)提出了很大的挑戰(zhàn)，導(dǎo)致數(shù)據(jù)質(zhì)量下降、生產(chǎn)效率下降！該怎么解決哪？在解決這個問題的過程中，逐步發(fā)現(xiàn)了一點(diǎn)苗頭：發(fā)現(xiàn)我們建立的數(shù)據(jù)倉庫與它的定義不太符合。下面是數(shù)據(jù)倉庫的定義：

數(shù)據(jù)倉庫（Data Warehouse）：是一個面向主題的（Subject Oriented）、集成的（Integrated）、相對穩(wěn)定的（Non-Volatile）、反映歷史變化（Time Variant）的數(shù)據(jù)集合，用于支持管理決策(Decision Making Support)。

很明顯我們并不符合相對穩(wěn)定的和反應(yīng)歷史變化的兩個條件，因?yàn)轭愃朴唵晤悢?shù)據(jù)，每天全量更新（原因是同一個訂單狀態(tài)隨著時間會變化，比如今天買了，明天退貨了）。這就明顯不符合想對穩(wěn)定這一概念了，更別說反應(yīng)歷史變化了！經(jīng)過最近的思考，發(fā)現(xiàn)自己搭建的系統(tǒng)更符合ODS的定義：

ODS：是一個面向主題的、集成的、可變的、當(dāng)前的細(xì)節(jié)數(shù)據(jù)集合，用于支持企業(yè)對于即時性的、操作性的、集成的全體信息的需求。

那么大家可能會問ods和數(shù)據(jù)倉庫的區(qū)別是什么哪？答：ods是短期的實(shí)時的數(shù)據(jù)，供產(chǎn)品或者運(yùn)營人員日常使用，而數(shù)據(jù)倉庫是供戰(zhàn)略決策使用的數(shù)據(jù)；ods是可以更新的數(shù)據(jù)，數(shù)據(jù)倉庫是基本不更新的反應(yīng)歷史變化的數(shù)據(jù)，還有很多，這里就不一一列舉了。

講到這里問題就明晰了，如何能搭建一個體系，既能支持戰(zhàn)略決策使用的數(shù)據(jù)倉庫數(shù)據(jù)，又能兼容業(yè)務(wù)快速的變化和運(yùn)營產(chǎn)品人員日常需求的ODS數(shù)據(jù)哪？

數(shù)據(jù)倉庫和ODS并存方案

經(jīng)過調(diào)研，發(fā)現(xiàn)大體上有三種解法：

1、業(yè)務(wù)數(shù)據(jù) － ODS － 數(shù)據(jù)倉庫

優(yōu)點(diǎn)：這樣做的好處是ODS的數(shù)據(jù)與數(shù)據(jù)倉庫的數(shù)據(jù)高度統(tǒng)一；開發(fā)成本低，至少開發(fā)一次并應(yīng)用到ODS即可；可見ODS是發(fā)揮承上啟下的作用，調(diào)研阿里巴巴的數(shù)據(jù)部門也是這么實(shí)現(xiàn)的。

缺點(diǎn)：數(shù)據(jù)倉庫需要的所有數(shù)據(jù)都需要走ODS，那么ODS的靈活性必然受到影響，甚至不利于擴(kuò)展、系統(tǒng)的靈活性差

2、OB － ODS

優(yōu)點(diǎn)：結(jié)構(gòu)簡單。一般的初創(chuàng)數(shù)據(jù)分析團(tuán)隊(duì)都是類似的結(jié)構(gòu)，比如我們部門就應(yīng)該歸結(jié)到這一范疇

缺點(diǎn)：這樣所有數(shù)據(jù)都?xì)w結(jié)到ODS，長期數(shù)據(jù)決策分析能力差，軟硬件成本高，模塊劃分不清晰，通用性差

3、數(shù)據(jù)倉庫和ODS并行

可見這個模型兼顧了上面提高的各自優(yōu)點(diǎn)，且便于擴(kuò)展，ODS和數(shù)據(jù)倉庫各做各的，形成優(yōu)勢互補(bǔ)！可以解決現(xiàn)在互聯(lián)網(wǎng)公司遇到的快速變化、快速開發(fā)等特點(diǎn)！特別是對于那些剛剛創(chuàng)建數(shù)據(jù)團(tuán)隊(duì)，數(shù)據(jù)開發(fā)人員緊缺的公司，可以嘗試使用這個數(shù)據(jù)架構(gòu)解決問題！

參考資料：

http://wenku.baidu.com/view/c620146c7e21af45b307a86e?fr=prin

http://blog.csdn.net/hero_hegang/article/details/8691912