|
主成分分析（principal component analysis,PCA）是一種降維技術，把多個變量化為能夠反映原始變量大部分信息的少數(shù)幾個主成分。
設X有p個變量，為n*p階矩陣，即n個樣本的p維向量。首先對X的p個變量尋找正規(guī)化線性組合，使它的方差達到最大，這個新的變量稱為第一主成分，抽取第一主成分后，第二主成分的抽取方法與第一主成分一樣，依次類推，直到各主成分累積方差達到總方差的一定比例。
主成分分析的計算步驟：
假設樣本觀測數(shù)據(jù)矩陣為：
X=(x1,x2,x3,...xp)，xi為n個樣本在第i個屬性上的觀測值，是一個列向量
1.對原始數(shù)據(jù)標準化處理（0均值化處理）
2.計算樣本相關系數(shù)矩陣
3.計算協(xié)方差矩陣的特征值和特征向量
4、選擇重要的主成分，并寫出主成分表達式 5.計算主成分得分
6.根據(jù)主成分得分的數(shù)據(jù)，做進一步的統(tǒng)計分析。
主成分分析可以得到p個主成分，但是，由于各個主成分的方差是遞減的，包含的信息量也是遞減的，所以實際分析時，一般不是選取p個主成分，而是根據(jù)各個主成分累計貢獻率的大小選取前k個主成分，這里貢獻率就是指某個主成分的方差占全部方差的比重，實際也就是某個特征值占全部特征值總和的比重。貢獻率越大，說明該主成分所包含的原始變量的信息越強。主成分個數(shù)k的選取，主要根據(jù)主成分的累積貢獻率來決定，即一般要求累計貢獻率達到85%以上，這樣才能保證綜合變量能包括原始變量的絕大多數(shù)信息。
另外，在實際應用中，選擇了重要的主成分后，還要注意主成分實際含義解釋。主成分分析中一個很關鍵的問題是如何給主成分賦予新的意義，給出合理的解釋。一般而言，這個解釋是根據(jù)主成分表達式的系數(shù)結(jié)合定性分析來進行的。主成分是原來變量的線性組合，在這個線性組合中個變量的系數(shù)有大有小，有正有負，有的大小相當，因而不能簡單地認為這個主成分是某個原變量的屬性的作用，線性組合中各變量系數(shù)的絕對值大者表明該主成分主要綜合了絕對值大的變量，有幾個變量系數(shù)大小相當時，應認為這一主成分是這幾個變量的總和，這幾個變量綜合在一起應賦予怎樣的實際意義，這要結(jié)合具體實際問題和專業(yè)，給出恰當?shù)慕忉?，進而才能達到深刻分析的目的 。
在R里手工統(tǒng)計過程如下：
> #數(shù)據(jù)集
> y=USArrests
> #相關矩陣
> c=cor(y)
> #特征值
> e=eigen(c)
> e
$values #特征值
[1] 2.4802416 0.9897652 0.3565632 0.1734301
$vectors 特征向量，也就是主成分的表達式
[,1] [,2] [,3] [,4]
[1,] -0.5358995 0.4181809 -0.3412327 0.64922780
[2,] -0.5831836 0.1879856 -0.2681484 -0.74340748
[3,] -0.2781909 -0.8728062 -0.3780158 0.13387773
[4,] -0.5434321 -0.1673186 0.8177779 0.08902432
> # 計算標準化的主成分得分
> scale( as.matrix(y))%*%e$vector
[,1] [,2] [,3] [,4]
Alabama -0.97566045 1.12200121 -0.43980366 0.154696581
Alaska -1.93053788 1.06242692 2.01950027 -0.434175454
Arizona -1.74544285 -0.73845954 0.05423025 -0.826264240
Arkansas 0.13999894 1.10854226 0.11342217 -0.180973554
.....
West Virginia 2.08739306 1.41052627 0.10372163 0.130583080
Wisconsin 2.05881199 -0.60512507 -0.13746933 0.182253407
Wyoming 0.62310061 0.31778662 -0.23824049 -0.164976866
R中下面兩個函數(shù)可以用做主成分分析
princomp(x, cor = FALSE, scores = TRUE, covmat = NULL,
subset = rep(TRUE, nrow(as.matrix(x))), ...)
cor =TRUE 是使用相關矩陣求主成分，否則使用協(xié)方差矩陣。
prcomp(x, retx = TRUE, center = TRUE, scale. = FALSE,
tol = NULL, ...)
scale =TRUE 即使用相關矩陣求主成分夬否則使用協(xié)方差矩陣
求主成分。
> # prcomp() 的用法
> p=prcomp(USArrests, scale=T)
> p
Standard deviations:
[1] 1.5748783 0.9948694 0.5971291 0.4164494
Rotation:
PC1 PC2 PC3 PC4
Murder -0.5358995 0.4181809 -0.3412327 0.64922780
Assault -0.5831836 0.1879856 -0.2681484 -0.74340748
UrbanPop -0.2781909 -0.8728062 -0.3780158 0.13387773
Rape -0.5434321 -0.1673186 0.8177779 0.08902432
> summary(p)
Importance of components:
PC1 PC2 PC3 PC4
Standard deviation 1.5749 0.9949 0.59713 0.41645
Proportion of Variance 0.6201 0.2474 0.08914 0.04336
Cumulative Proportion 0.6201 0.8675 0.95664 1.00000
#計算標準化的主成分得分
> predict(p)
結(jié)果和手工統(tǒng)計的一樣。
|
