小編說：機器學(xué)習(xí)算法眾多，全部掌握，一則不可能，二則沒必要。如何靈活掌握和應(yīng)用機器學(xué)習(xí)算法呢？小編認(rèn)為，精通機器學(xué)習(xí)一些典型的算法，包括算法的原理、算法的演變、算法的優(yōu)劣、算法的應(yīng)用等。從今日起，【R語言】公眾號會陸續(xù)推出機器學(xué)習(xí)典型算法一系列文章。這些文章的來源，要么是轉(zhuǎn)載，要么是翻譯，要么是投稿，要么是眾包等。從多個途徑，多個維度，利用R語言來理解和實現(xiàn)機器學(xué)習(xí)中典型算法。歡迎伙伴們參與進(jìn)來，你可以分享你所認(rèn)為的機器學(xué)習(xí)典型算法是什么？你可以向小編投稿。你可以向小編推送好的資源。

支持向量機是一個相對較新和較先進(jìn)的機器學(xué)習(xí)技術(shù)，最初提出是為了解決二類分類問題，現(xiàn)在被廣泛用于解決多類非線性分類問題和回歸問題。繼續(xù)閱讀本文，你將學(xué)習(xí)到支持向量機如何工作，以及如何利用R語言實現(xiàn)支持向量機。

支持向量機如何工作？

簡單介紹下支持向量機是做什么的：

假設(shè)你的數(shù)據(jù)點分為兩類，支持向量機試圖尋找最優(yōu)的一條線（超平面），使得離這條線最近的點與其他類中的點的距離最大。有些時候，一個類的邊界上的點可能越過超平面落在了錯誤的一邊，或者和超平面重合，這種情況下，需要將這些點的權(quán)重降低，以減小它們的重要性。

這種情況下，“支持向量”就是那些落在分離超平面邊緣的數(shù)據(jù)點形成的線。

無法確定分類線（線性超平面）時該怎么辦？

此時可以將數(shù)據(jù)點投影到一個高維空間，在高維空間中它們可能就變得線性可分了。它會將問題作為一個帶約束的最優(yōu)化問題來定義和解決，其目的是為了最大化兩個類的邊界之間的距離。

我的數(shù)據(jù)點多于兩個類時該怎么辦？

此時支持向量機仍將問題看做一個二元分類問題，但這次會有多個支持向量機用來兩兩區(qū)分每一個類，直到所有的類之間都有區(qū)別。

工程實例

讓我們看一下如何使用支持向量機實現(xiàn)二元分類器，使用的數(shù)據(jù)是來自MASS包的cats數(shù)據(jù)集。在本例中你將嘗試使用體重和心臟重量來預(yù)測一只貓的性別。我們拿數(shù)據(jù)集中20%的數(shù)據(jù)點，用于測試模型的準(zhǔn)確性（在其余的80%的數(shù)據(jù)上建立模型）。

線性支持向量機

傳遞給函數(shù)svm()的關(guān)鍵參數(shù)是kernel、cost和gamma。Kernel指的是支持向量機的類型，它可能是線性SVM、多項式SVM、徑向SVM或Sigmoid SVM。Cost是違反約束時的成本函數(shù)，gamma是除線性SVM外其余所有SVM都使用的一個參數(shù)。還有一個類型參數(shù)，用于指定該模型是用于回歸、分類還是異常檢測。但是這個參數(shù)不需要顯式地設(shè)置，因為支持向量機會基于響應(yīng)變量的類別自動檢測這個參數(shù)，響應(yīng)變量的類別可能是一個因子或一個連續(xù)變量。所以對于分類問題，一定要把你的響應(yīng)變量作為一個因子。

徑向支持向量機

徑向基函數(shù)作為一個受歡迎的內(nèi)核函數(shù)，可以通過設(shè)置內(nèi)核參數(shù)作為“radial”來使用。當(dāng)使用一個帶有“radial”的內(nèi)核時，結(jié)果中的超平面就不需要是一個線性的了。通常定義一個彎曲的區(qū)域來界定類別之間的分隔，這也往往導(dǎo)致相同的訓(xùn)練數(shù)據(jù)，更高的準(zhǔn)確度。

尋找最優(yōu)參數(shù)

你可以使用tune.svm()函數(shù)，來尋找svm()函數(shù)的最優(yōu)參數(shù)。

結(jié)果證明，當(dāng)cost為100，gamma為0.001時產(chǎn)生最小的錯誤率。利用這些參數(shù)訓(xùn)練徑向支持向量機。

網(wǎng)格圖

一個2-色的網(wǎng)格圖，能讓結(jié)果看起來更清楚，它將圖的區(qū)域指定為利用SVM分類器得到的結(jié)果的類別。在下邊的例子中，這樣的網(wǎng)格圖中有很多數(shù)據(jù)點，并且通過數(shù)據(jù)點上的傾斜的方格來標(biāo)記支持向量上的點。很明顯，在這種情況下，有很多越過邊界違反約束的點，但在SVM內(nèi)部它們的權(quán)重都被降低了。