對于一般的回歸模型，都是基于自變量之間是互相獨立的。如果兩個或多個解釋變量間出現(xiàn)了相關(guān)性，則成為多重共線性。

針對多元線性回歸中的多重共線性問題，采用嶺回歸、主成分分析和偏最小二乘回歸來解決

嶺回歸：需要根據(jù)定性和定量分析確定一個合適的k,則可以很好消除共線性影響

主成分回歸和偏最小二乘回歸：考慮成分提取的方法進(jìn)行回歸，特別偏最小二乘與因變量的關(guān)系，回歸效果較主成分好

共線性診斷常用統(tǒng)計量：方差膨脹因子VIF（或容量TOL）、條件指數(shù)和方差比例

VIF>10=》模型有很強的共線性關(guān)系

1、條件指數(shù)在10與30間為弱相關(guān)

2、條件指數(shù)在30與100之間為中等相關(guān)

3、條件指數(shù)大于100為強相關(guān)；在大的條件指數(shù)中由方差比例超過0.5的自變量構(gòu)成的變量子集就認(rèn)為是相關(guān)變量集

三種解決方法：

嶺回歸：當(dāng)出現(xiàn)多重共線性時，有|X^X|~=0,從而使得參數(shù)不穩(wěn)定，給X^X加上一個正常數(shù)矩陣KI，在用此估計參數(shù)要比普通最小二乘估計穩(wěn)定

主成分回歸：設(shè)自變量的相關(guān)系數(shù)矩陣為R,單獨考慮對自變量做主成分提取，過程：

1、求R的前m個非零的特征值以及相應(yīng)的特征向量

2、求m個主成分

偏最小二乘回歸：首先在自變量中提取第一潛因子t1,（t1是自變量的線性組合，且盡可能多的提取原自變量集中的變異信息，比如第一主成分）；同時在因變量集中葉提取第一潛因子u1，要求t1和u1的相關(guān)程度達(dá)最大。然后建立因變量y和t1的回歸，如果回歸方程已達(dá)到滿意的精度，則算法終止。否則繼續(xù)第二輪潛在因子的提取，直到滿意的精度為止。偏最小二乘回歸建立y與t1,t2,...,tl的回歸式，然后表示為y與原自變量的回歸方程。