一区二区三区日韩精品-日韩经典一区二区三区-五月激情综合丁香婷婷-欧美精品中文字幕专区

分享

機器學習算法集錦:從貝葉斯到深度學習及各自優(yōu)缺點

 啊司com 2017-02-20

選自static.

機器之心編譯 


在我們日常生活中所用到的推薦系統(tǒng)、智能圖片美化應用和聊天機器人等應用中,各種各樣的機器學習和數(shù)據處理算法正盡職盡責地發(fā)揮著自己的功效。本文篩選并簡單介紹了一些最常見算法類別,還為每一個類別列出了一些實際的算法并簡單介紹了它們的優(yōu)缺點。


https://static./diagram/WHeBqDIrJRk-kDDY



目錄


  • 正則化算法(Regularization Algorithms)

  • 集成算法(Ensemble Algorithms)

  • 決策樹算法(Decision Tree Algorithm)

  • 回歸(Regression)

  • 人工神經網絡(Artificial Neural Network)

  • 深度學習(Deep Learning)

  • 支持向量機(Support Vector Machine)

  • 降維算法(Dimensionality Reduction Algorithms)

  • 聚類算法(Clustering Algorithms)

  • 基于實例的算法(Instance-based Algorithms)

  • 貝葉斯算法(Bayesian Algorithms)

  • 關聯(lián)規(guī)則學習算法(Association Rule Learning Algorithms)

  • 圖模型(Graphical Models)


正則化算法(Regularization Algorithms)



它是另一種方法(通常是回歸方法)的拓展,這種方法會基于模型復雜性對其進行懲罰,它喜歡相對簡單能夠更好的泛化的模型。


例子:


  • 嶺回歸(Ridge Regression)

  • 最小絕對收縮與選擇算子(LASSO)

  • GLASSO

  • 彈性網絡(Elastic Net)

  • 最小角回歸(Least-Angle Regression)


優(yōu)點:


  • 其懲罰會減少過擬合

  • 總會有解決方法


缺點:


  • 懲罰會造成欠擬合

  • 很難校準


集成算法(Ensemble algorithms)



集成方法是由多個較弱的模型集成模型組,其中的模型可以單獨進行訓練,并且它們的預測能以某種方式結合起來去做出一個總體預測。


該算法主要的問題是要找出哪些較弱的模型可以結合起來,以及結合的方法。這是一個非常強大的技術集,因此廣受歡迎。


  • Boosting

  • Bootstrapped Aggregation(Bagging)

  • AdaBoost

  • 層疊泛化(Stacked Generalization)(blending)

  • 梯度推進機(Gradient Boosting Machines,GBM)

  • 梯度提升回歸樹(Gradient Boosted Regression Trees,GBRT)

  • 隨機森林(Random Forest)


優(yōu)點:


  • 當先最先進的預測幾乎都使用了算法集成。它比使用單個模型預測出來的結果要精確的多


缺點:


  • 需要大量的維護工作


決策樹算法(Decision Tree Algorithm)



決策樹學習使用一個決策樹作為一個預測模型,它將對一個 item(表征在分支上)觀察所得映射成關于該 item 的目標值的結論(表征在葉子中)。


樹模型中的目標是可變的,可以采一組有限值,被稱為分類樹;在這些樹結構中,葉子表示類標簽,分支表示表征這些類標簽的連接的特征。


例子:


  • 分類和回歸樹(Classification and Regression Tree,CART)

  • Iterative Dichotomiser 3(ID3)

  • C4.5 和 C5.0(一種強大方法的兩個不同版本)


優(yōu)點:


  • 容易解釋

  • 非參數(shù)型


缺點:


  • 趨向過擬合

  • 可能或陷于局部最小值中

  • 沒有在線學習


回歸(Regression)算法



回歸是用于估計兩種變量之間關系的統(tǒng)計過程。當用于分析因變量和一個 多個自變量之間的關系時,該算法能提供很多建模和分析多個變量的技巧。具體一點說,回歸分析可以幫助我們理解當任意一個自變量變化,另一個自變量不變時,因變量變化的典型值。最常見的是,回歸分析能在給定自變量的條件下估計出因變量的條件期望。


回歸算法是統(tǒng)計學中的主要算法,它已被納入統(tǒng)計機器學習。


例子:


  • 普通最小二乘回歸(Ordinary Least Squares Regression,OLSR)

  • 線性回歸(Linear Regression)

  • 邏輯回歸(Logistic Regression)

  • 逐步回歸(Stepwise Regression)

  • 多元自適應回歸樣條(Multivariate Adaptive Regression Splines,MARS)

  • 本地散點平滑估計(Locally Estimated Scatterplot Smoothing,LOESS)


優(yōu)點:


  • 直接、快速

  • 知名度高


缺點:


  • 要求嚴格的假設

  • 需要處理異常值


人工神經網絡



人工神經網絡是受生物神經網絡啟發(fā)而構建的算法模型。


它是一種模式匹配,常被用于回歸和分類問題,但擁有龐大的子域,由數(shù)百種算法和各類問題的變體組成。


例子:


  • 感知器

  • 反向傳播

  • Hopfield 網絡

  • 徑向基函數(shù)網絡(Radial Basis Function Network,RBFN)


優(yōu)點:


  • 在語音、語義、視覺、各類游戲(如圍棋)的任務中表現(xiàn)極好。

  • 算法可以快速調整,適應新的問題。


缺點:


需要大量數(shù)據進行訓練

訓練要求很高的硬件配置

模型處于「黑箱狀態(tài)」,難以理解內部機制

元參數(shù)(Metaparameter)與網絡拓撲選擇困難。


深度學習(Deep Learning)



深度學習是人工神經網絡的最新分支,它受益于當代硬件的快速發(fā)展。


眾多研究者目前的方向主要集中于構建更大、更復雜的神經網絡,目前有許多方法正在聚焦半監(jiān)督學習問題,其中用于訓練的大數(shù)據集只包含很少的標記。


例子:


  • 深玻耳茲曼機(Deep Boltzmann Machine,DBM)

  • Deep Belief Networks(DBN)

  • 卷積神經網絡(CNN)

  • Stacked Auto-Encoders


優(yōu)點/缺點:見神經網絡


支持向量機(Support Vector Machines)



給定一組訓練事例,其中每個事例都屬于兩個類別中的一個,支持向量機(SVM)訓練算法可以在被輸入新的事例后將其分類到兩個類別中的一個,使自身成為非概率二進制線性分類器。


SVM 模型將訓練事例表示為空間中的點,它們被映射到一幅圖中,由一條明確的、盡可能寬的間隔分開以區(qū)分兩個類別。


隨后,新的示例會被映射到同一空間中,并基于它們落在間隔的哪一側來預測它屬于的類別。


優(yōu)點:


在非線性可分問題上表現(xiàn)優(yōu)秀


缺點:


  • 非常難以訓練

  • 很難解釋


降維算法(Dimensionality Reduction Algorithms)



和集簇方法類似,降維追求并利用數(shù)據的內在結構,目的在于使用較少的信息總結或描述數(shù)據。


這一算法可用于可視化高維數(shù)據或簡化接下來可用于監(jiān)督學習中的數(shù)據。許多這樣的方法可針對分類和回歸的使用進行調整。


例子:


  • 主成分分析(Principal Component Analysis (PCA))

  • 主成分回歸(Principal Component Regression (PCR))

  • 偏最小二乘回歸(Partial Least Squares Regression (PLSR))

  • Sammon 映射(Sammon Mapping)

  • 多維尺度變換(Multidimensional Scaling (MDS))

  • 投影尋蹤(Projection Pursuit)

  • 線性判別分析(Linear Discriminant Analysis (LDA))

  • 混合判別分析(Mixture Discriminant Analysis (MDA))

  • 二次判別分析(Quadratic Discriminant Analysis (QDA))

  • 靈活判別分析(Flexible Discriminant Analysis (FDA))


優(yōu)點:


  • 可處理大規(guī)模數(shù)據集

  • 無需在數(shù)據上進行假設


缺點:


  • 難以搞定非線性數(shù)據

  • 難以理解結果的意義


聚類算法(Clustering Algorithms)



聚類算法是指對一組目標進行分類,屬于同一組(亦即一個類,cluster)的目標被劃分在一組中,與其他組目標相比,同一組目標更加彼此相似(在某種意義上)。


例子:


  • K-均值(k-Means)

  • k-Medians 算法

  • Expectation Maximi 封層 ation (EM)

  • 最大期望算法(EM)

  • 分層集群(Hierarchical Clstering)


優(yōu)點:


  • 讓數(shù)據變得有意義


缺點:


  • 結果難以解讀,針對不尋常的數(shù)據組,結果可能無用。


基于實例的算法(Instance-based Algorithms)



基于實例的算法(有時也稱為基于記憶的學習)是這樣學 習算法,不是明確歸納,而是將新的問題例子與訓練過程中見過的例子進行對比,這些見過的例子就在存儲器中。


之所以叫基于實例的算法是因為它直接從訓練實例中建構出假設。這意味這,假設的復雜度能隨著數(shù)據的增長而變化:最糟的情況是,假設是一個訓練項目列表,分類一個單獨新實例計算復雜度為 O(n)


例子:


  • K 最近鄰(k-Nearest Neighbor (kNN))

  • 學習向量量化(Learning Vector Quantization (LVQ))

  • 自組織映射(Self-Organizing Map (SOM))

  • 局部加權學習(Locally Weighted Learning (LWL))


優(yōu)點:


  • 算法簡單、結果易于解讀


缺點:


  • 內存使用非常高

  • 計算成本高

  • 不可能用于高維特征空間


貝葉斯算法(Bayesian Algorithms)



貝葉斯方法是指明確應用了貝葉斯定理來解決如分類和回歸等問題的方法。


例子:


  • 樸素貝葉斯(Naive Bayes)

  • 高斯樸素貝葉斯(Gaussian Naive Bayes)

  • 多項式樸素貝葉斯(Multinomial Naive Bayes)

  • 平均一致依賴估計器(Averaged One-Dependence Estimators (AODE))

  • 貝葉斯信念網絡(Bayesian Belief Network (BBN))

  • 貝葉斯網絡(Bayesian Network (BN))


優(yōu)點:


快速、易于訓練、給出了它們所需的資源能帶來良好的表現(xiàn)


缺點:


  • 如果輸入變量是相關的,則會出現(xiàn)問題


關聯(lián)規(guī)則學習算法(Association Rule Learning Algorithms)



關聯(lián)規(guī)則學習方法能夠提取出對數(shù)據中的變量之間的關系的最佳解釋。比如說一家超市的銷售數(shù)據中存在規(guī)則 {洋蔥,土豆}=> {漢堡},那說明當一位客戶同時購買了洋蔥和土豆的時候,他很有可能還會購買漢堡肉。


例子:


  • Apriori 算法(Apriori algorithm)

  • Eclat 算法(Eclat algorithm)

  • FP-growth


圖模型(Graphical Models)



圖模型或概率圖模型(PGM/probabilistic graphical model)是一種概率模型,一個圖(graph)可以通過其表示隨機變量之間的條件依賴結構(conditional dependence structure)。


例子:


  • 貝葉斯網絡(Bayesian network)

  • 馬爾可夫隨機域(Markov random field)

  • 鏈圖(Chain Graphs)

  • 祖先圖(Ancestral graph)


優(yōu)點:


  • 模型清晰,能被直觀地理解


缺點:


  • 確定其依賴的拓撲很困難,有時候也很模糊




本文為機器之心編譯,轉載請聯(lián)系本公眾號獲得授權

------------------------------------------------

加入機器之心(全職記者/實習生):hr@jiqizhixin.com

投稿或尋求報道:editor@jiqizhixin.com

廣告&商務合作:bd@jiqizhixin.com

    本站是提供個人知識管理的網絡存儲空間,所有內容均由用戶發(fā)布,不代表本站觀點。請注意甄別內容中的聯(lián)系方式、誘導購買等信息,謹防詐騙。如發(fā)現(xiàn)有害或侵權內容,請點擊一鍵舉報。
    轉藏 分享 獻花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多

    亚洲香艳网久久五月婷婷| 观看日韩精品在线视频| 亚洲中文字幕乱码亚洲| 国产精品流白浆无遮挡| 字幕日本欧美一区二区| 欧美又大又黄刺激视频| 免费啪视频免费欧美亚洲| 久久久精品区二区三区| 中日韩免费一区二区三区| 精品高清美女精品国产区| 五月婷婷缴情七月丁香| av在线免费播放一区二区| 麻豆剧果冻传媒一二三区| 国产免费一区二区三区av大片| 亚洲视频一区自拍偷拍另类| 有坂深雪中文字幕亚洲中文 | 男人大臿蕉香蕉大视频| 丰满少妇被猛烈插入在线观看| 国产日韩欧美在线播放| 日韩美成人免费在线视频| 精品国产91亚洲一区二区三区| 国产精品午夜性色视频| 欧洲一级片一区二区三区| 国产又色又爽又黄的精品视频| 亚洲av熟女国产一区二区三区站 | 欧美亚洲另类久久久精品| 中文字幕av诱惑一区二区| 婷婷色网视频在线播放| 国产在线一区二区三区不卡 | 激情国产白嫩美女在线观看| 欧美中文日韩一区久久| 国内欲色一区二区三区| 极品熟女一区二区三区| 久久精品偷拍视频观看| 婷婷激情五月天丁香社区| 亚洲av日韩av高潮无打码| 亚洲国产成人爱av在线播放下载| 亚洲欧美日韩国产综合在线| 一区二区日本一区二区欧美| 亚洲美女国产精品久久| 国产成人精品一区在线观看|