主成分分分析也稱作主分量分析，是霍特林(Hotelling)在1933年首先提出。主成分分析是利用降維的思想，在損失較少信息的前提下把多個(gè)指標(biāo)轉(zhuǎn)化為較少的綜合指標(biāo)。轉(zhuǎn)化生成的綜合指標(biāo)即稱為主成分，其中每個(gè)主成分都是原始變量的線性組合，且各個(gè)主成分互不相關(guān)。Stata對(duì)主成分分析的主要內(nèi)容包括：主成分估計(jì)、主成分分析的恰當(dāng)性（包括負(fù)偏協(xié)方差矩陣和負(fù)偏相關(guān)系數(shù)矩陣、KMO(Kaiser-Meyer-Olkin)抽樣充分性、復(fù)相關(guān)系數(shù)、共同度等指標(biāo)測(cè)度）、主成分的旋轉(zhuǎn)、預(yù)測(cè)、各種檢驗(yàn)、碎石圖、得分圖、載荷圖等。    

主成分的模型表達(dá)式為：

其中，a稱為得分，b稱為載荷。主成分分析主要的分析方法是對(duì)相關(guān)系數(shù)矩陣（或協(xié)方差矩陣）進(jìn)行特征值分析。

Stata中可以通過(guò)負(fù)偏相關(guān)系數(shù)矩陣、負(fù)相關(guān)系數(shù)平方和KMO值對(duì)主成分分析的恰當(dāng)性進(jìn)行分析。負(fù)偏相關(guān)系數(shù)矩陣即變量之間兩兩偏相關(guān)系數(shù)的負(fù)數(shù)。非對(duì)角線元素則為負(fù)的偏相關(guān)系數(shù)。如果變量之間存在較強(qiáng)的共性，則偏相關(guān)系數(shù)比較低。因此，如果矩陣中偏相關(guān)系數(shù)較高的個(gè)數(shù)比較多，說(shuō)明某一些變量與另外一些變量的相關(guān)性比較低，主成分模型可能不適用。這時(shí)，主成分分析不能得到很好的數(shù)據(jù)約化效果。

Kaiser-Meyer-Olkin抽樣充分性測(cè)度也是用于測(cè)量變量之間相關(guān)關(guān)系的強(qiáng)弱的重要指標(biāo)，是通過(guò)比較兩個(gè)變量的相關(guān)系數(shù)與偏相關(guān)系數(shù)得到的。KMO介于0于1之間。KMO越高，表明變量的共性越強(qiáng)。如果偏相關(guān)系數(shù)相對(duì)于相關(guān)系數(shù)比較高，則KMO比較低，主成分分析不能起到很好的數(shù)據(jù)約化效果。根據(jù)Kaiser（1974），一般的判斷標(biāo)準(zhǔn)如下：0.00-0.49,不能接受（unacceptable）;0.50-0.59,非常差（miserable）；0.60-0.69，勉強(qiáng)接受（mediocre）；0.70-0.79,可以接受（middling）；0.80-0.89，比較好（meritorious）；0.90-1.00,非常好（marvelous）。

SMC即一個(gè)變量與其他所有變量的復(fù)相關(guān)系數(shù)的平方，也就是復(fù)回歸方程的可決系數(shù)。SMC比較高表明變量的線性關(guān)系越強(qiáng)，共性越強(qiáng)，主成分分析就越合適。

成分載荷、KMO、SMC等指標(biāo)都可以通過(guò)extat命令進(jìn)行分析。

多元方差分析是方差分析在多元中的擴(kuò)展，即模型含有多個(gè)響應(yīng)變量。本章介紹多元（協(xié)）方差分析以及霍特林（Hotelling)均值向量T檢驗(yàn)。

12.1 主成分估計(jì)

Stata可以通過(guò)變量進(jìn)行主成分分析，也可以直接通過(guò)相關(guān)系數(shù)矩陣或協(xié)方差矩陣進(jìn)行。

（1）sysuse auto,clear

pca trunk weight length headroom

pca trunk weight length headroom, comp(2) covariance

（2）webuse bg2,clear

pca bg2cost*, vce(normal)

12.2 Estat

estat給出了幾個(gè)非常有用的工具，包括KMO、SMC等指標(biāo)。

webuse bg2,clear

pca bg2cost*, vce(normal)

estat anti

estat kmo

estat loadings

estat residuals

estat smc

estat summarize

12.3 預(yù)測(cè)

Stata可以通過(guò)predict預(yù)測(cè)變量得分、擬合值和殘差等。

webuse bg2,clear

pca bg2cost*, vce(normal)

predict score fit residual q   （備注：q代表殘差的平方和）

12.4 碎石圖

碎石圖是判斷保留多少個(gè)主成分的重要方法。命令為screeplot。

webuse bg2,clear

pca bg2cost*, vce(normal)

screeplot

12.5 得分圖、載荷圖

得分圖即不同主成分得分的散點(diǎn)圖。命令為scoreplot。

webuse bg2,clear

pca bg2cost*, vce(normal)

scoreplot

載荷圖即不同主成分載荷的散點(diǎn)圖。命令為loadingplot。

webuse bg2,clear

pca bg2cost*, vce(normal)

loadingplot

12.6 旋轉(zhuǎn)

對(duì)載荷進(jìn)行旋轉(zhuǎn)的命令格式為rotate。

webuse bg2,clear

pca bg2cost*, vce(normal)

rotate

例：對(duì)中國(guó)30個(gè)省市自治區(qū)經(jīng)濟(jì)發(fā)展基本情況的八項(xiàng)指標(biāo)主成分分析，原始數(shù)據(jù)如下表：

數(shù)據(jù) ：來(lái)源于2009年《中國(guó)統(tǒng)計(jì)年鑒》

程序：

clear

*定義變量的標(biāo)簽

label var area  省份

label var x1  'GDP   (億元）'

label var x2  '居民消費(fèi)水平(元）'

label var x3  '固定資產(chǎn)投資(億元)'

label var x4  '職工平均工資（元）'

label var x5  '貨物周轉(zhuǎn)量 (億噸公里)'

label var x6  '居民消費(fèi)價(jià)格指數(shù) (上年100)'  

label var x7  '商品零售價(jià)格指數(shù)  (上年100)'

label var x8  '工業(yè)總產(chǎn)值   (億元)'

describe

pca x1-x8 /*主成分估計(jì)*/

estat kmo /*KMO檢驗(yàn)，越高越好*/

estat smc /*SMC檢驗(yàn)，值越高越好*/

screeplot  /* 碎石圖（特征值等于1處的水平線標(biāo)示保留主成分的分界點(diǎn)）*/

predict score fit residual q /*預(yù)測(cè)變量得分、擬合值和殘差以及殘差的平方和*/

predict f1 f2 f3

predict q1 q2 q3

scoreplot,mlabel(area) yline(0) xline(0) /*得分圖1*/

scoreplot,xtitle('經(jīng)濟(jì)社會(huì)總量') ytitle('人民生活水平') ///

mlabel(area) yline(0) xline(0) /*得分圖*/

scatter f2 f3,xtitle('人民生活水平') ytitle('物價(jià)水平') ///

mlabel(area) yline(0) xline(0)  /*得分圖*/

scoreplot, factors(3) mlabel(area)  /*得分圖*/

scoreplot,combined factors(3) mlabel(area) yline(0) xline(0)  /*得分圖*/

loadingplot , yline(0) xline(0)/*載荷圖 */

loadingplot , combined factors(3) yline(0) xline(0)/*載荷圖 */

rotate  /*旋轉(zhuǎn)*/

分析：

先對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理后，接著進(jìn)行主成分分析，可以得到：

表：R的特征值和特征向量

從表中看到，前3個(gè)特征值累計(jì)貢獻(xiàn)率已達(dá)90.27%，說(shuō)明前3個(gè)主成分基本包含了全部指標(biāo)具有的信息，我們?nèi)∏?個(gè)特征值。通過(guò)對(duì)載荷矩陣進(jìn)行旋轉(zhuǎn)，可得到相應(yīng)的特征向量，見(jiàn)下表：

第一、第二、第三特征值向量

因而前三個(gè)主成分為：

第一主成分:   F₁＝0.4249x1+0.3217x2_s+0.4057x3_s+0.1856x4_s

+0.3520x5_s-0.3444x6_s-0.3118x7_s+0.4209x8_s

第二主成分:   F₂＝0.3064x1-0.4467x2_s+0.3855x3_s-0.6100x4_s

-0.0510x5_s+0.1427x6_s+0.2767x7_s+0.2938x8_s

第三主成分:   F₃＝0.1079x1+0.3101x2_s-0.0181x3_s+0.2536x4_s

+0.3714x5_s-0.5784x6_s+0.5769x7_s+0.1495x8_s

在第一主成分的表達(dá)式中第一、第三、第八項(xiàng)指標(biāo)的系數(shù)較大，這三項(xiàng)指標(biāo)起主要作用，我們可以把第一主成分看成是由國(guó)內(nèi)生產(chǎn)總值、固定資產(chǎn)投資、工業(yè)總產(chǎn)值所刻劃的反映經(jīng)濟(jì)社會(huì)總量的綜合指標(biāo)；

在第二主成分中，第二、第三、第四項(xiàng)指標(biāo)的影響大，且第二、第四項(xiàng)的影響較大，因此可以把第二主成分看成是由居民消費(fèi)水平、職工平均工資表示的反映人民生活水平的綜合指標(biāo)；

在第三主成分中，第六、第七項(xiàng)指標(biāo)大于其余的指標(biāo)，可看成是受居民消費(fèi)價(jià)格指數(shù)、商品零售價(jià)格指數(shù)的影響，反映物價(jià)水平的綜合指標(biāo)。

在這次的主成分分析里面，我們可以進(jìn)行些檢驗(yàn)以驗(yàn)證我們分析的效果，通過(guò)KMO檢驗(yàn)和SMC檢驗(yàn)，得到了下面的檢驗(yàn)值：

變量的KMO、SMC值表

Kaiser-Meyer-Olkin抽樣充分性測(cè)度也是用于測(cè)量變量之間相關(guān)關(guān)系的強(qiáng)弱的重要指標(biāo)，是通過(guò)比較兩個(gè)變量的相關(guān)系數(shù)與偏相關(guān)系數(shù)得到的。KMO介于0于1之間。KMO越高，表明變量的共性越強(qiáng)。如果偏相關(guān)系數(shù)相對(duì)于相關(guān)系數(shù)比較高，則KMO比較低，主成分分析不能起到很好的數(shù)據(jù)約化效果。根據(jù)Kaiser（1974），一般的判斷標(biāo)準(zhǔn)如下：0.00-0.49,不能接受（unacceptable）;0.50-0.59,非常差（miserable）；0.60-0.69，勉強(qiáng)接受（mediocre）；0.70-0.79,可以接受（middling）；0.80-0.89，比較好（meritorious）；0.90-1.00,非常好（marvelous）。

SMC即一個(gè)變量與其他所有變量的復(fù)相關(guān)系數(shù)的平方，也就是復(fù)回歸方程的可決系數(shù)。SMC比較高表明變量的線性關(guān)系越強(qiáng)，共性越強(qiáng)，主成分分析就越合適。

根據(jù)KMO越高，表明變量的共性越強(qiáng)和SMC比較高表明變量的線性關(guān)系越強(qiáng)，共性越強(qiáng)，主成分分析就越合適。從上表可以看出，在該例中，各變量基本符合要求。

通過(guò)碎石圖，我們可以很直觀的看出各個(gè)特征值的大小。在該圖中，特征值等于1處的水平線標(biāo)示了保留主成分分析的分界點(diǎn)，同時(shí)再次強(qiáng)調(diào)了本例中的成分4到8并不重要。

碎石圖

通過(guò)predict我們可以得出各個(gè)觀察變量的所對(duì)應(yīng)的各個(gè)主成分的線性組合（即得分）。

在得分圖里，我們可以看到不同地區(qū)在第一、第二主成分里各自的得分情況。

得分圖

通過(guò)載荷圖，我們可以直觀看出各個(gè)變量對(duì)主成分影響的大小。

載荷圖

運(yùn)行rotate進(jìn)行旋轉(zhuǎn)后，我們將旋轉(zhuǎn)后的結(jié)果和旋轉(zhuǎn)前的結(jié)果進(jìn)行比較，可以發(fā)現(xiàn)每一個(gè)觀察變量獨(dú)自構(gòu)成一個(gè)主成分，方差貢獻(xiàn)相等，都為12%。