|
大數(shù)據(jù)的核心：數(shù)據(jù)挖掘。從頭至尾我們都脫離不了數(shù)據(jù)挖掘。其實(shí)從大學(xué)到現(xiàn)在一直都接觸數(shù)據(jù)挖掘，但是我們不關(guān)心是什么是數(shù)據(jù)挖掘，我們關(guān)心的是我們?nèi)绾瓮ㄟ^數(shù)據(jù)挖掘過程中找到我們需要的東西，而我們更關(guān)心的是這個(gè)過程是什么？如何開始？
總結(jié)的過程也是一個(gè)學(xué)習(xí)的過程，通過有章節(jié)的整理對目前正在的學(xué)習(xí)的內(nèi)容做規(guī)整。在這個(gè)過程中我們會從具體的項(xiàng)目實(shí)施中去談數(shù)據(jù)挖掘，中間會貫穿很多的概念，算法，業(yè)務(wù)轉(zhuǎn)換，過程，建模等等。 我們列一下要談?wù)摰脑掝}： 1、什么是數(shù)據(jù)挖掘及為什么要進(jìn)行數(shù)據(jù)挖掘？ 2、數(shù)據(jù)挖掘在營銷和CRM中的應(yīng)用？ 3、數(shù)據(jù)挖掘的過程 4、你應(yīng)理解的統(tǒng)計(jì)學(xué) 5、數(shù)據(jù)描述與預(yù)測：剖析與預(yù)測建模 6、經(jīng)典的數(shù)據(jù)挖掘技術(shù) 7、各類算法 8、數(shù)據(jù)倉庫、OLAP、分析沙箱和數(shù)據(jù)挖掘 9、具體的案例分析 什么是數(shù)據(jù)挖掘？是知識發(fā)現(xiàn)、商業(yè)智能、預(yù)測分析還是預(yù)測建模。其實(shí)都可以歸為一類：數(shù)據(jù)挖掘是一項(xiàng)探測大量數(shù)據(jù)以發(fā)現(xiàn)有意義的模式（pattern）和規(guī)則（rule）的業(yè)務(wù)流程。 這里談到了發(fā)現(xiàn)模式與規(guī)則，其實(shí)就是一項(xiàng)業(yè)務(wù)流程，為業(yè)務(wù)服務(wù)。而我們要做就是讓業(yè)務(wù)做起來顯得更簡單，或直接幫助客戶如何提升業(yè)務(wù)。在大量的數(shù)據(jù)中找到有意義的模式和規(guī)則。在大量數(shù)據(jù)面前，數(shù)據(jù)的獲得不再是一個(gè)障礙，而是一個(gè)優(yōu)勢。在現(xiàn)在很多的技術(shù)在大數(shù)據(jù)集上比在小數(shù)據(jù)集上的表現(xiàn)得更好——你可以用數(shù)據(jù)產(chǎn)生智慧，也可以用計(jì)算機(jī)來完成其最擅長的工作：提出問題并解決問題。模式和規(guī)則的定義：就是發(fā)現(xiàn)對業(yè)務(wù)有益的模式或規(guī)則。發(fā)現(xiàn)模式就意味著把保留活動的目標(biāo)定位為最有可能流失的客戶。這就意味著優(yōu)化客戶獲取資源，既考慮客戶數(shù)量上的短期效益，同時(shí)也考慮客戶價(jià)值的中期和長期收益。 而在上面的過程，最重要的一點(diǎn)就是：如何通過數(shù)據(jù)挖掘技術(shù)來維護(hù)與客戶之間的關(guān)系，這就是客戶關(guān)系管理，CRM。 專注于數(shù)據(jù)挖掘在營銷和客戶關(guān)系管理方面的應(yīng)用——例如，為交叉銷售和向上銷售改進(jìn)推薦，預(yù)測未來的用戶級別，建模客戶生存價(jià)值，根據(jù)用戶行為對客戶進(jìn)行劃分，為訪問網(wǎng)站的客戶選擇最佳登錄頁面，確定適合列入營銷活動的候選者，以及預(yù)測哪些客戶處于停止使用軟件包、服務(wù)或藥物治療的風(fēng)險(xiǎn)中。 兩種關(guān)鍵技術(shù)：生存分析、統(tǒng)計(jì)算法。在加上文本挖掘和主成分分析。 經(jīng)營有方的小店自然地形成與客戶之間的學(xué)習(xí)關(guān)系。隨著時(shí)間的推移，他們對客戶的了解也會越來越多，從而可以利用這些知識為他們提供更好的服務(wù)。結(jié)果是：忠實(shí)的顧客和盈利的商店。 但是擁有數(shù)十萬或數(shù)百萬客戶的大公司，則不能奢望與每個(gè)客戶形成密切的私人關(guān)系。面臨這樣困境，他們必須要面對的是，學(xué)會充分利用所擁有的大量信息——幾乎是每次與客戶交互產(chǎn)生的數(shù)據(jù)。這就是如何將客戶數(shù)據(jù)轉(zhuǎn)換成客戶知識的分析技術(shù)。 數(shù)據(jù)挖掘是一項(xiàng)與業(yè)務(wù)流程交互的業(yè)務(wù)流程。數(shù)據(jù)挖掘以數(shù)據(jù)作為開始，通過分析來啟動或激勵行為，這些行為反過來又將創(chuàng)建更多需要數(shù)據(jù)挖掘的數(shù)據(jù)。 因此，對于那些充分利用數(shù)據(jù)來改善業(yè)務(wù)的公司來說，不應(yīng)僅僅把數(shù)據(jù)挖掘看作是細(xì)枝末節(jié)。相反，在業(yè)務(wù)策略上必須包含：1、數(shù)據(jù)收集。2、為長期利益分析數(shù)據(jù)。3、針對分析結(jié)果做出分析。 CRM（客戶關(guān)系管理系統(tǒng)）。在各行各業(yè)中，高瞻遠(yuǎn)矚的公司的目標(biāo)都是理解每個(gè)客戶，并通過利用這種理解，使得客戶與他們做生意更加容易。同樣要學(xué)習(xí)分析每個(gè)客戶的價(jià)值，清楚哪些客戶值得投資和努力來保留，哪些準(zhǔn)許流失。把一個(gè)產(chǎn)品為中心的企業(yè)轉(zhuǎn)變成以客戶為中心的企業(yè)的代價(jià)超過了數(shù)據(jù)挖掘。假設(shè)數(shù)據(jù)挖掘的結(jié)果是像一個(gè)用戶推薦一個(gè)小首飾而不是一個(gè)小發(fā)明，但是如果經(jīng)理的獎金取決于小發(fā)明的季度銷售量而不是小首飾的銷售量（即便后者更為有利可圖或者收獲長期盈利更多的客戶），那么數(shù)據(jù)挖掘的結(jié)果就會被忽視，這就導(dǎo)致挖掘結(jié)果不能產(chǎn)生決策。 我們要學(xué)會：從記錄的內(nèi)容中學(xué)習(xí)。 為什么是現(xiàn)在要學(xué)會：
數(shù)據(jù)挖掘成功的關(guān)鍵是把其結(jié)合到業(yè)務(wù)流程中，并能夠促進(jìn)數(shù)據(jù)挖掘人員和使用結(jié)果的業(yè)務(wù)用戶之間的通信。首先，必須明確，找到合適的業(yè)務(wù)需求，很多的人員，沒有在意這一點(diǎn)，導(dǎo)致解決的是對業(yè)務(wù)沒有幫助的問題。 在面臨不斷日新的社會，進(jìn)步，遠(yuǎn)不在改變，而在與變中的不變。即使改變時(shí)絕對的，但是仍有未改進(jìn)之處以及沒有可能改變的方向：如果經(jīng)驗(yàn)不會保留，永遠(yuǎn)保持幼年，那些不吸取教訓(xùn)的人，注定要重蹈覆轍。 當(dāng)與業(yè)務(wù)人員討論數(shù)據(jù)挖掘的機(jī)會時(shí)，確保重心在業(yè)務(wù)而不是技術(shù)和算法。讓我們的技術(shù)專家專注技術(shù)，同時(shí)讓我們業(yè)務(wù)專家專注業(yè)務(wù)。 電信客戶流失：一個(gè)關(guān)鍵因素是過度呼叫，新的客戶在第一個(gè)月使用的分鐘數(shù)超過了他們的費(fèi)用的計(jì)劃，當(dāng)?shù)谝辉碌牡馁~單往往在第二月中旬送達(dá)客戶，客戶才了解費(fèi)用使用計(jì)劃。到那個(gè)時(shí)候，客戶已經(jīng)在第二個(gè)月產(chǎn)生了一個(gè)很大的賬單，導(dǎo)致客戶很不快樂。遺憾的是客戶服務(wù)人員也要等相同的時(shí)間等賬單周期到之后才能檢測到過度使用的狀況，致使沒有時(shí)間來主動反應(yīng)。其實(shí)在這個(gè)過程中導(dǎo)致問題產(chǎn)生的原因就是，反饋時(shí)間的問題，如果在這個(gè)月末，分析報(bào)告能夠給出明確的預(yù)測或建議，上面的問題就會有很大的改善。這中間可以能也會包括運(yùn)營商之間的手段問題，這個(gè)暫時(shí)不考慮。 上述問題折中的解決辦法：新生的數(shù)據(jù)挖掘組擁有資源，而且已經(jīng)鑒別和調(diào)查了適當(dāng)?shù)臄?shù)據(jù)源。采用一些相當(dāng)簡單的程序，該小組能夠在這些客戶中第一次過度呼叫時(shí)把他們標(biāo)識出來。使用這個(gè)信息，客戶中心能夠聯(lián)系處于風(fēng)險(xiǎn)中的客戶，并在第一個(gè)賬單失效之前把他們移到適當(dāng)?shù)馁~單計(jì)劃中。 問題很簡單：在實(shí)驗(yàn)室工作的很好的模型，為什么走出實(shí)驗(yàn)室就不能工作？一個(gè)問題在于它通過記憶數(shù)據(jù)過擬合了模型集。這就導(dǎo)致在實(shí)驗(yàn)室很成功的模型，拿到實(shí)際就令人很失望。建模的目標(biāo)不是產(chǎn)生最好的模型。數(shù)據(jù)挖掘的目標(biāo)是能處理現(xiàn)實(shí)世界中的問題，從而可以影響某種變化。你需要的穩(wěn)定，即該模型不僅在模型集中工作的很好，在未知的數(shù)據(jù)上工作的也得很好。 導(dǎo)致不穩(wěn)定有四大原因： 1、把事情搞錯：由于不了解具體的需求，就動手。導(dǎo)致矛盾在實(shí)際過程中爆發(fā)。 2、過擬合：該模型記憶模型集，而不是認(rèn)識更多的一般模式。人們很在意認(rèn)識模式（字面上的認(rèn)識），致使認(rèn)識模式可能脫穎而出。而認(rèn)識模式（實(shí)際意義）卻并非如此。一個(gè)過擬合的例子。 3、樣本偏置：利用建立模型的數(shù)據(jù)無法準(zhǔn)確地反映真實(shí)的世界，當(dāng)不是通過原始數(shù)據(jù)的隨機(jī)抽樣創(chuàng)建模型時(shí)，這問題就可能發(fā)生。比如：一個(gè)地區(qū)的數(shù)據(jù)與另一個(gè)地區(qū)數(shù)據(jù)的關(guān)鍵詞不同，所以不能硬性的把一個(gè)地區(qū)的數(shù)據(jù)強(qiáng)加到另一個(gè)地區(qū)。 4、未來的事情可能與過去的不一樣：模型是建立在歷史數(shù)據(jù)上的，但利用在其他時(shí)段。這里隱含一個(gè)假設(shè)——用過去發(fā)生的事情指導(dǎo)未來發(fā)生的事情。雖然不要求模型總是假設(shè)過去式未來的序幕。 時(shí)間幀：模型集中的每個(gè)變量都有一個(gè)與它相關(guān)的時(shí)間幀，它描述了該變量產(chǎn)生作用的時(shí)間段?？梢岳斫鉃閷υ谶^去一段時(shí)間的數(shù)據(jù)的整合，超過這個(gè)時(shí)間的數(shù)據(jù)就作廢。 輸入變量和目標(biāo)變量都有時(shí)間幀。輸入變量的時(shí)間幀嚴(yán)格早于目標(biāo)變量，任何建立在此模型集上的模型都是一種預(yù)測模型。另一方面：當(dāng)輸入變量和目標(biāo)來自同一個(gè)時(shí)間幀內(nèi)，它們產(chǎn)生剖析模型。 預(yù)測模型：很多數(shù)據(jù)挖掘問題都可以概括為預(yù)測問題：基于過去的響應(yīng)，基于過去的相應(yīng)，誰將會有相應(yīng)？基于過去的注銷記錄，誰有一個(gè)不良風(fēng)險(xiǎn)？解決問題最好的辦法是限定輸入變量嚴(yán)格產(chǎn)生于目標(biāo)變臉之前。 如：考慮到一個(gè)零售商，它擁有一個(gè)目標(biāo)網(wǎng)站，并計(jì)劃在9月份舉行一個(gè)活動。我們的目的，收集9月1日之前的數(shù)據(jù)，并對這些數(shù)據(jù)建立一個(gè)模型，以確定哪些客戶才加該活動，以及應(yīng)采用哪些的營銷措施。應(yīng)該使用什么樣的數(shù)據(jù)建立模型？而且應(yīng)該使用相同時(shí)間段的數(shù)據(jù)進(jìn)行此模型評分。把日歷回翻一年，即前一年的9月1日，對那個(gè)用戶數(shù)據(jù)作為一個(gè)起點(diǎn)，然后把結(jié)束日期放到去年年底的營銷數(shù)據(jù)上，這種就保證沒有“未來”數(shù)據(jù)的輸入信息會影響模型的目標(biāo)估計(jì)能力。 預(yù)測面臨的挑戰(zhàn)是創(chuàng)建模型集所需的工作量。把日歷往回翻，這一做法寫起來很容易，但是在以客戶為中心、規(guī)范化的數(shù)據(jù)倉庫中很難實(shí)現(xiàn)。目的結(jié)果是為了獲取更穩(wěn)定的結(jié)果，這些模型能發(fā)現(xiàn)導(dǎo)致客戶的一些重要行為的原因。 剖析模型：剖析，從字面上的理解是，基于人口統(tǒng)計(jì)變量，例如：地理位置、性別和年齡等。剖析模型能發(fā)現(xiàn)同一條件下的關(guān)系，但他們不能指出原因和影響。出于這個(gè)原因，剖析模型經(jīng)常使用客戶的人口統(tǒng)計(jì)信息作為輸入，而把客戶行為作為目標(biāo)，在這種情況下，確定原因和影響更直觀。 有指導(dǎo)數(shù)據(jù)挖掘方法：
 有指導(dǎo)數(shù)據(jù)挖掘過程 感謝dufman的投遞。 End. 轉(zhuǎn)載請注明來自36大數(shù)據(jù)（)：36大數(shù)據(jù) ? 大數(shù)據(jù)的核心：數(shù)據(jù)挖掘 |
|
|
