一、機(jī)器學(xué)習(xí)簡介

1.1 機(jī)器學(xué)習(xí)簡介

人工智能 (Artificial Intelligence，簡稱AI) 是對人的意識(shí)、思維過程進(jìn)行模擬的一門新學(xué)科。

如今，人工智能從虛無縹緲的科學(xué)幻想變成了現(xiàn)實(shí)。計(jì)算機(jī)科學(xué)家們在 機(jī)器學(xué)習(xí) (Machine Learning) 和 深度學(xué)習(xí) (Deep Learning) 領(lǐng)域已經(jīng)取得重大的突破，機(jī)器被賦予強(qiáng)大的認(rèn)知和預(yù)測能力。2016 年 AplphaGO 成功擊敗人類世界冠軍向世界證明，機(jī)器也可以像人類一樣思考，甚至比人類做得更好。

人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)三者關(guān)系

人工智能涵蓋了機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的所有范疇，人工智能研究的主要目標(biāo)是使機(jī)器能夠勝任一些通常需要人類才能完成的復(fù)雜工作，人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)三者之間是逐層包含的關(guān)系。

機(jī)器學(xué)習(xí)：人工智能核心技術(shù)

機(jī)器學(xué)習(xí)是利用經(jīng)驗(yàn)或數(shù)據(jù)來改進(jìn)算法的研究，通過算法讓機(jī)器從大量歷史數(shù)據(jù)中學(xué)習(xí)和尋找規(guī)律，得到某種模型并利用此模型預(yù)測未來。

1.2 機(jī)器學(xué)習(xí)應(yīng)用場景

機(jī)器學(xué)習(xí)：應(yīng)用領(lǐng)域

從范圍上來說，機(jī)器學(xué)習(xí)跟模式識(shí)別，統(tǒng)計(jì)學(xué)習(xí)，數(shù)據(jù)挖掘是類似的。同時(shí)，機(jī)器學(xué)習(xí)與其他領(lǐng)域的處理技術(shù)的結(jié)合，形成了計(jì)算機(jī)視覺、語音識(shí)別、自然語言處理等交叉學(xué)科。

機(jī)器學(xué)習(xí)：應(yīng)用場景

1. 客戶分析
2. 營銷分析
3. 社交媒體分析
4. 網(wǎng)絡(luò)安全
5. 設(shè)備管理
6. 交通物流
7. 欺詐檢測

機(jī)器學(xué)習(xí)應(yīng)用場景：客戶分析

主要是客戶的基本數(shù)據(jù)信息進(jìn)行商業(yè)行為分析。

• 分析目標(biāo)客戶
• 根據(jù)客戶的需求，目標(biāo)客戶的性質(zhì)，所處行業(yè)的特征以及客戶的經(jīng)濟(jì)狀況等基本信息使用統(tǒng)計(jì)分析方法和預(yù)測驗(yàn)證法，分析目標(biāo)客戶，提高銷售效率。
• 制定營銷策略
• 了解客戶的采購過程，根據(jù)客戶采購類型、采購性質(zhì)進(jìn)行分類分析制定不同的營銷策略。
• 分析客戶價(jià)值
• 根據(jù)已有的客戶特征，進(jìn)行客戶特征分析、客戶忠誠分析、客戶注意力分析、客戶營銷分析和客戶收益分析。

機(jī)器學(xué)習(xí)應(yīng)用場景：營銷分析

囊括了產(chǎn)品分析，價(jià)格分析，渠道分析，廣告與促銷分析這四類分析。

• 產(chǎn)品分析
• 主要是競爭產(chǎn)品分析，通過對競爭產(chǎn)品的分析制定自身產(chǎn)品策略。
• 價(jià)格分析
• 分為成本分析和售價(jià)分析，成本分析的目的是降低不必要成本，售價(jià)分析的目的是制定符合市場的價(jià)格。
• 渠道分析
• 指對產(chǎn)品的銷售渠道進(jìn)行分析，確定最優(yōu)的渠道配比。
• 廣告與促銷分析
• 結(jié)合客戶分析，實(shí)現(xiàn)銷量的提升，利潤的增加。

機(jī)器學(xué)習(xí)應(yīng)用場景：社交媒體分析

以不同社交媒體渠道生成的內(nèi)容為基礎(chǔ)，實(shí)現(xiàn)不同社交媒體的用戶分析，訪問分析，互動(dòng)分析等。同時(shí)，還能為情感和輿情監(jiān)督提供豐富的資料。

• 用戶分析
  根據(jù)用戶注冊信息，登錄平臺(tái)的時(shí)間點(diǎn)和平時(shí)發(fā)表的內(nèi)容等用戶數(shù)據(jù)，分析用戶個(gè)人畫像和行為特征。
• 訪問分析
  通過用戶平時(shí)訪問的內(nèi)容，分析用戶的興趣愛好，進(jìn)而分析潛在的商業(yè)價(jià)值。
• 互動(dòng)分析
  根據(jù)互相關(guān)注對象的行為預(yù)測該對象未來的某些行為特征。

機(jī)器學(xué)習(xí)應(yīng)用場景：網(wǎng)絡(luò)安全和設(shè)備管理

• 網(wǎng)絡(luò)安全
• 新型的病毒防御系統(tǒng)可使用數(shù)據(jù)分析技術(shù)，建立潛在攻擊識(shí)別分析模型，監(jiān)測大量網(wǎng)絡(luò)活動(dòng)數(shù)據(jù)和相應(yīng)的訪問行為，識(shí)別可能進(jìn)行入侵的可疑模式，做到未雨綢繆。
• 設(shè)備管理
• 通過物聯(lián)網(wǎng)技術(shù)能夠收集和分析設(shè)備上的數(shù)據(jù)流，包括連續(xù)用電、零部件溫度、環(huán)境濕度和污染物顆粒等無數(shù)潛在特征，建立設(shè)備管理模型，從而預(yù)測設(shè)備故障，合理安排預(yù)防性的維護(hù)，以確保設(shè)備正常作業(yè)，降低因設(shè)備故障帶來的安全風(fēng)險(xiǎn)。

機(jī)器學(xué)習(xí)應(yīng)用場景：交通物流和欺詐檢測

• 交通物流
  物流是物品從供應(yīng)地向接收地的實(shí)體流動(dòng)。通過業(yè)務(wù)系統(tǒng)和GPS定位系統(tǒng)獲得數(shù)據(jù)，對于客戶使用數(shù)據(jù)構(gòu)建交通狀況預(yù)測分析模型，有效預(yù)測實(shí)時(shí)路況、物流狀況、車流量、客流量和貨物吞吐量，進(jìn)而提前補(bǔ)貨，制定庫存管理策略。
• 欺詐檢測
  身份信息泄露盜用事件逐年增長，隨之而來的是欺詐行為和交易的增多。公安機(jī)關(guān)，各大金融機(jī)構(gòu)，電信部門可利用用戶基本信息，用戶交易信息，用戶通話短信信息等數(shù)據(jù)，識(shí)別可能發(fā)生的潛在欺詐交易，做到提前預(yù)防未雨綢繆。

1.3 機(jī)器學(xué)習(xí)算法分類

機(jī)器學(xué)習(xí)不同層次

1. 兩眼摸瞎，不知所措
2. 會(huì)用工具跑模型和評估模型
3. 根據(jù)應(yīng)用的特點(diǎn)改進(jìn)模型來獲取更好的結(jié)果
4. 熟悉各類模型及其特點(diǎn)并能準(zhǔn)確應(yīng)用
5. 解決行業(yè)重點(diǎn)問題推動(dòng)行業(yè)技術(shù)的發(fā)展

機(jī)器學(xué)習(xí)介紹

• 數(shù)學(xué)基礎(chǔ)微積分、矩陣計(jì)算、線性代數(shù)、概率論和數(shù)理分析

• 計(jì)算機(jī)基礎(chǔ)Linux、DataBase、Python/R、Hadoop、Spark、HDFS、YARN、Pig、Flume、Sqoop、Hive、Impala、Sentry、Zookeeper

• 傳統(tǒng)機(jī)器學(xué)習(xí)算法K-近鄰算法、決策樹、樸素貝葉斯、邏輯回歸、支持向量機(jī)、聚類、主成分分析

機(jī)器學(xué)習(xí)提升路徑

機(jī)器學(xué)習(xí)概念

• 概念假設(shè)用PP來評估計(jì)算機(jī)程序在某任務(wù)類TT上的性能, 若一個(gè)程序通過利用經(jīng)驗(yàn)EE在TT中任務(wù)上獲得了性能改善,則我們就說關(guān)于TT 和PP，該程序?qū)E進(jìn)行了學(xué)習(xí)。

• 研究內(nèi)容關(guān)于在計(jì)算機(jī)上從數(shù)據(jù)中產(chǎn)生 模型 (Model) 的算法，即學(xué)習(xí)算法 (Learning Algorithm)。

機(jī)器學(xué)習(xí)算法分類

按學(xué)習(xí)的方式來劃分，機(jī)器學(xué)習(xí)主要包括：

• 監(jiān)督學(xué)習(xí)

輸入數(shù)據(jù)帶有標(biāo)簽。監(jiān)督學(xué)習(xí)建立一個(gè)學(xué)習(xí)過程，將預(yù)測結(jié)果與 “訓(xùn)練數(shù)據(jù)”（即輸入數(shù)據(jù)）的實(shí)際結(jié)果進(jìn)行比較，不斷的調(diào)整預(yù)測模型，直到模型的預(yù)測結(jié)果達(dá)到一個(gè)預(yù)期的準(zhǔn)確率，比如分類和回歸問題等。常用算法包括決策樹、貝葉斯分類、最小二乘回歸、邏輯回歸、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等。

• 非監(jiān)督學(xué)習(xí)

輸入數(shù)據(jù)沒有標(biāo)簽，而是通過算法來推斷數(shù)據(jù)的內(nèi)在聯(lián)系，比如聚類和關(guān)聯(lián)規(guī)則學(xué)習(xí)等。常用算法包括獨(dú)立成分分析、K-Means 和 Apriori 算法等。

• 半監(jiān)督學(xué)習(xí)

輸入數(shù)據(jù)部分標(biāo)簽，是監(jiān)督學(xué)習(xí)的延伸，常用于分類和回歸。常用算法包括圖論推理算法、拉普拉斯支持向量機(jī)等。

• 強(qiáng)化學(xué)習(xí)

輸入數(shù)據(jù)作為對模型的反饋，強(qiáng)調(diào)如何基于環(huán)境而行動(dòng)，以取得最大化的預(yù)期利益。與監(jiān)督式學(xué)習(xí)之間的區(qū)別在于，它并不需要出現(xiàn)正確的輸入 / 輸出對，也不需要精確校正次優(yōu)化的行為。強(qiáng)化學(xué)習(xí)更加專注于在線規(guī)劃，需要在探索（在未知的領(lǐng)域）和遵從（現(xiàn)有知識(shí)）之間找到平q衡。

機(jī)器學(xué)習(xí)算法分類

• 回歸算法： 線性回歸、邏輯回歸
• 基于實(shí)例的學(xué)習(xí)算法： K-鄰近算法
• 正則化算法： 嶺回歸、LASSO、Elastic Net
• 決策樹算法： 分類和回歸樹、ID3算法、C4.5/C5.0、隨機(jī)森林、梯度推進(jìn)機(jī)
• 貝葉斯算法： 樸素貝葉斯、高斯樸素貝葉斯、多項(xiàng)式樸素貝葉斯
• 基于核的算法： 支持向量機(jī)(SVM)、徑向基函數(shù)(RBF)、線性判別分析(LDA)
• 聚類算法： K-均值、K-中位數(shù)、EM算法、分層聚類
• 關(guān)聯(lián)規(guī)則： Apriori算法、Eclat算法
• 神經(jīng)網(wǎng)絡(luò)： 感知器、反向傳播
• 深度學(xué)習(xí)： 卷積神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)
• 降維算法： 主成分分析、主成分回歸、偏最小二乘回歸
• 集成算法： Boosting、Bagging、AdaBoost

1.4 機(jī)器學(xué)習(xí)基本術(shù)語

機(jī)器學(xué)習(xí)的基本原理就是把現(xiàn)實(shí)世界當(dāng)中要研究的對象通過特征值將其數(shù)字化，然后讓計(jì)算機(jī)通過這些已有的數(shù)字學(xué)習(xí)“經(jīng)驗(yàn)”，從而有了判斷的能力，這時(shí)如果有了新的輸入，計(jì)算機(jī)就能夠根據(jù)這些經(jīng)驗(yàn)來做出判斷。

比如下面的例子就是要計(jì)算機(jī)判斷西瓜是好瓜還是壞瓜，我們把西瓜對象提取出三種類型的特征值，然后通過算法讓機(jī)器去學(xué)習(xí)，從而擁有了判斷西瓜好壞的能力。我們把這個(gè)可以將經(jīng)驗(yàn)(數(shù)據(jù))轉(zhuǎn)化為最終的模型(Model，也就是那個(gè)能判斷好瓜還是壞瓜的程序)的算法稱之為學(xué)習(xí)算法(Learning Algorithm)

• 模型、學(xué)習(xí)算法、數(shù)據(jù)集、示例/樣本、屬性/特征、屬性值

• 維數(shù)、樣本空間/屬性空間、特征向量

我們可以看出現(xiàn)實(shí)世界的任何事物其實(shí)都可以通過屬性或著特征來進(jìn)行描述，上圖給出的就是通過三個(gè)屬性來描述西瓜的一組數(shù)據(jù)。屬性的數(shù)目我們稱之為維數(shù)，本例中表示西瓜用了三個(gè)特征，因此就是三維。

下面的圖表示樣本空間(Sample Space)或者屬性空間(Attribute Space)，我們也可以看到這是一個(gè)三維空間。

每個(gè)樣本根據(jù)其特征值都會(huì)落在樣本空間的一個(gè)點(diǎn)上，這個(gè)點(diǎn)由一組坐標(biāo)向量來表示，因此樣本又叫做特征向量(Feature Vector)。

機(jī)器學(xué)習(xí)的過程就是通過這些樣本數(shù)據(jù)進(jìn)行訓(xùn)練學(xué)習(xí)的過程，通過訓(xùn)練，我們可以得出自己的模型，這個(gè)模型我們可以理解為經(jīng)過訓(xùn)練的機(jī)器大腦，這個(gè)機(jī)器大腦可以幫助我們做判斷，比如判斷一個(gè)西瓜的好壞，判斷的越準(zhǔn)確，說明我們的模型越好。

• 標(biāo)記、樣例、標(biāo)記空間/輸出空間

當(dāng)我們開始訓(xùn)練我們的模型的時(shí)候，只有上面所示的數(shù)據(jù)集是不夠的，我們還需要一組帶有判斷結(jié)果的數(shù)據(jù)

判斷結(jié)果我們叫做標(biāo)記(Label)，帶有標(biāo)記信息的樣本，則稱之為樣例(Example)

所有標(biāo)記的集合叫做標(biāo)記空間(Label Space)或輸出空間(Output Space)

通常我們訓(xùn)練模型就是為了找到輸入空間到輸出空間的對應(yīng)關(guān)系，即給定輸入空間的一個(gè)特征向量，能夠?qū)?yīng)到輸出空間的一個(gè)值。

• 分類問題

((色澤='青綠',根蒂='蜷縮',敲聲='濁響'), 好瓜)

• 回歸問題

• 聚類問題
• 監(jiān)督學(xué)習(xí)/無監(jiān)督學(xué)習(xí)

如果我們想讓我們的模型只是簡單地去判斷（通常叫預(yù)測）一個(gè)瓜是好瓜還是壞瓜，即分成兩類，這種學(xué)習(xí)任務(wù)稱為分類問題(Classification)，預(yù)測的是離散值；如果是想讓其預(yù)測的是連續(xù)值，如預(yù)測西瓜成熟度0.95， 0.88，此類學(xué)習(xí)任務(wù)就叫做回歸(Regression)

在我們的示例中只是簡單地分為“好瓜”，“壞瓜”兩類，此種分類稱為二分類問題(Binary Classification)，通常一個(gè)稱為正類(Positive Class)也有翻譯為“陽類”，另一個(gè)稱為反類(Negtive Class)或者稱為為陰類。

如果是多個(gè)類別的話，就稱為多分類問題。

如果我們想將訓(xùn)練集中的西瓜分成若干組，每組就稱之為一個(gè)簇(Cluster)，這個(gè)過程就叫做聚類(Clustering)。這些簇可能對應(yīng)一些潛在的分類，比如“淺色瓜”，“深色瓜”等。而這些分類可能是我們事先并不知道的，就是說學(xué)習(xí)算法在做聚類分析的時(shí)候是自動(dòng)產(chǎn)生的類別，通常訓(xùn)練樣本中也不需要標(biāo)記信息。

根據(jù)訓(xùn)練數(shù)據(jù)是否有標(biāo)記信息，學(xué)習(xí)任務(wù)可分為監(jiān)督學(xué)習(xí)(Supervised Learning)和無監(jiān)督學(xué)習(xí)(Unsupervised Learning)。

分類和回歸是監(jiān)督學(xué)習(xí)的典型代表，而聚類則是無監(jiān)督學(xué)習(xí)的典型代表。

• 假設(shè)

(色澤='青綠',根蒂='蜷縮',敲聲='濁響')

每種特征的組合都認(rèn)為是一個(gè)假設(shè)(Hypothesis)，所有假設(shè)的集合我們稱之為假設(shè)空間。

• 假設(shè)空間、版本空間

如果“色澤”，“根蒂”，“敲聲”分別有3，2，2種可能，(每種特征值都要加一種任意值可能)那么假設(shè)空間的規(guī)模就是 43x=3+1=374?3x=?3+1=37

從這幅圖可以看出，每種特征值在計(jì)算可能性的時(shí)候都加了一種可能，就是任意值可能，我們用“*”表示，最后結(jié)果加1是由于存在一種可能就是根本沒有“好瓜”這個(gè)概念，或者說“好瓜”跟這些特征都沒有關(guān)系。當(dāng)給定一個(gè)訓(xùn)練集進(jìn)行訓(xùn)練的時(shí)候，模型會(huì)逐漸刪除那些與正例不一致的假設(shè)和（或）與反例一致的假設(shè)，最后獲得與訓(xùn)練集一致的假設(shè)。而剩下的這些假設(shè)可能有多個(gè)，我們把剩下的這些假設(shè)的集合稱之為版本空間(Version Space)。

• 泛化
• 學(xué)習(xí)到模型對未知數(shù)據(jù)的預(yù)測能力
• 歸納
• 從特殊情況到一般的泛化過程（具體事實(shí)一般性規(guī)律）
• 演繹
• 從一般到特殊的特化過程（基礎(chǔ)原理具體狀況）
• 歸納學(xué)習(xí)
• 從樣例中學(xué)習(xí)顯然時(shí)一個(gè)歸納的過程廣義的歸納學(xué)習(xí)：從樣例中學(xué)習(xí)狹義的歸納學(xué)習(xí)：從訓(xùn)練數(shù)據(jù)中學(xué)的概念/概念生成/概念(concept)學(xué)習(xí)
• 狹義的歸納學(xué)習(xí)：從訓(xùn)練數(shù)據(jù)中學(xué)的概念/概念生成/概念(concept)學(xué)習(xí)
• 歸納偏好
• 機(jī)器學(xué)習(xí)算法在學(xué)習(xí)過程中對某種類型假設(shè)的偏好
• 奧卡姆剃刀原則
• 若有多個(gè)假設(shè)與觀察一致，則選最簡單的那個(gè)

Scikit-learn安裝與查看

• 安裝Scikit-learn
• !pip install -U scikit-learn
• 安裝Matplotlib
• !pip install matplotlib
  
  

tips：鏡像已經(jīng)安裝好相關(guān)庫，你可以使用以下命令查看Scikit-learn版本

• 先導(dǎo)入sklearn：import sklearn
• 查看sklearn版本號：sklearn.__version__