一、多元線性回歸模型簡(jiǎn)介

回歸分析是數(shù)據(jù)分析中最基礎(chǔ)也是最重要的分析工具，絕大多數(shù)的數(shù)據(jù)分析問(wèn)題，都可以使用回歸的思想來(lái)解決。回歸分析的任務(wù)就是，通過(guò)研究自變量X和因變量Y的相關(guān)關(guān)系，嘗試去解釋Y的形成機(jī)制，進(jìn)而達(dá)到通過(guò)X去預(yù)測(cè)Y的目的。

常見的回歸分析有五類：線性回歸、0-1回歸、定序回歸、計(jì)數(shù)回歸和生存回歸，其劃分的依據(jù)是因變量Y的類型。本篇主要講解多元線性回歸以及l(fā)asso回歸。

回歸分析的目的

• 識(shí)別重要變量
• 判斷相關(guān)性的方向
• 要估計(jì)權(quán)重(回歸系數(shù))

回歸分析分類

類型	模型	Y的特點(diǎn)	例子
線性回歸	OLS、GLS（最小二乘）	連續(xù)數(shù)值型變量	GDP、產(chǎn)量、收入
0-1回歸	logistic回歸	二值變量（0-1）	是否違約、是否得病
定序回歸	probit定序回歸	定序變量	等級(jí)評(píng)定（優(yōu)良差）
計(jì)數(shù)回歸	泊松回歸（泊松分布）	計(jì)數(shù)變量	每分鐘車流量
生存回歸	Cox等比例風(fēng)險(xiǎn)回歸	生存變量（截?cái)鄶?shù)據(jù)）	企業(yè)、產(chǎn)品的壽命

二、適用賽題

解釋類問(wèn)題

• 問(wèn)一個(gè)因變量y由多個(gè)自變量x決定，探究這多個(gè)x和y的關(guān)系
• 解釋哪個(gè)x和y關(guān)系更緊密

預(yù)測(cè)類問(wèn)題

• 由于回歸模型會(huì)得到一個(gè)擬合曲線，進(jìn)而可以由這個(gè)曲線去預(yù)測(cè)一些值
• 不過(guò)注意，當(dāng)要用擬合曲線預(yù)測(cè)的時(shí)候，擬合優(yōu)度一定要大

三、模型流程

四、流程分析

注：回歸模型其中涉及到矩陣論、概率論與數(shù)理統(tǒng)計(jì)的知識(shí)，本篇不展開證明和講解。且推薦使用Stata軟件來(lái)進(jìn)行多元線性回歸分析。

1.處理變量

我們得到了一組數(shù)據(jù)，要對(duì)數(shù)據(jù)進(jìn)行分類

橫截面數(shù)據(jù)

• 在某一時(shí)點(diǎn)收集的不同對(duì)象的數(shù)據(jù)
• 例如：我們自己發(fā)放問(wèn)卷得到的數(shù)據(jù)，全國(guó)各省份2018年GDP的數(shù)據(jù)，大一新生今年體測(cè)的得到的數(shù)據(jù)

時(shí)間序列數(shù)據(jù)

• 對(duì)同一對(duì)象在不同時(shí)間連續(xù)觀察所取得的數(shù)據(jù)
• 例如：從出生到現(xiàn)在，你的體重的數(shù)據(jù)（每年生日稱一次），中國(guó)歷年來(lái)GDP的數(shù)據(jù)，在某地方每隔一小時(shí)測(cè)得的溫度數(shù)據(jù)

面板數(shù)據(jù)

• 橫截面數(shù)據(jù)與時(shí)間序列數(shù)據(jù)綜合起來(lái)的一種數(shù)據(jù)資源
• 例如：2008-2018年，我國(guó)各省份GDP的數(shù)據(jù)

數(shù)據(jù)類型	常見建模方法
橫截面數(shù)據(jù)	多元線性回歸
時(shí)間序列數(shù)據(jù)	移動(dòng)平均、指數(shù)平滑、ARIMA、GARCH、VAR、 協(xié)積
面板數(shù)據(jù)	固定效應(yīng)和隨機(jī)效應(yīng)、靜態(tài)面板和動(dòng)態(tài)面板

現(xiàn)在給出多元線性回歸方程

無(wú)內(nèi)生性（no endogeneity）要求所有解釋變量均與擾動(dòng)項(xiàng)不相關(guān)，這個(gè)假定通常太強(qiáng)，因?yàn)榻忉屪兞恳话愫芏?#xff08;比如，5-15個(gè)解釋變量），且需要保證它們?nèi)客馍?。是否可能弱化此條件？答案是肯定的，如果你的解釋變量可以區(qū)分為核心解釋變量與控制變量?jī)深悺?/p>

• 核心解釋變量：我們最感興趣的變量，因此我們特別希望得到對(duì)其系數(shù)的一致估計(jì)（當(dāng)樣本容量無(wú)限增大時(shí)，收斂于待估計(jì)參數(shù)的真值）
• 控制變量：我們可能對(duì)于這些變量本身并無(wú)太大興趣，而之所以把它們也放入回歸方程，主要是為了“控制住”那些對(duì)被解釋變量有影響的遺漏因素
• 在實(shí)際應(yīng)用中，我們只要保證核心解釋變量與μ不相關(guān)即可

如果自變量中有定性變量，例如性別、地域等，在回歸中要怎么處理呢?例如：我們要研究性別對(duì)于工資的影響（性別歧視）。這時(shí)候可以用到虛擬變量

Female就是一個(gè)虛擬變量。

為了避免完全多重共線性的影響，引入虛擬變量的個(gè)數(shù)一般是分類數(shù)減1。例如男女是兩類，就引入了一個(gè)Female；如果是區(qū)別全國(guó)34個(gè)省的人，就可以設(shè)置33個(gè)虛擬變量。

2.初次回歸

利用Stata得到初次回歸的結(jié)果后，需要檢驗(yàn)結(jié)果的可靠性，如果可靠就可以解釋系數(shù)完成工作如果不可靠，還需要調(diào)整方法繼續(xù)回歸。

問(wèn)題出在擾動(dòng)項(xiàng)

橫截面數(shù)據(jù)容易出現(xiàn)異方差的問(wèn)題；時(shí)間序列數(shù)據(jù)容易出現(xiàn)自相關(guān)的問(wèn)題。

①異方差

如果擾動(dòng)項(xiàng)存在異方差

• OLS估計(jì)出來(lái)的回歸系數(shù)是無(wú)偏、一致的
• 假設(shè)檢驗(yàn)無(wú)法使用（構(gòu)造的統(tǒng)計(jì)量失效了）
• OLS估計(jì)量不再是最優(yōu)線性無(wú)偏估計(jì)量(BLUE)

如何檢驗(yàn)是否存在異方差

BP檢驗(yàn)

原假設(shè)：擾動(dòng)項(xiàng)不存在異方差。P值小于0.05，說(shuō)明在95%的置信水平下拒絕原假設(shè)，即我們認(rèn)為擾動(dòng)項(xiàng)存在異方差。

懷特檢驗(yàn)

原假設(shè)：擾動(dòng)項(xiàng)不存在異方差。P值小于0.05，說(shuō)明在95%的置信水平下拒絕原假設(shè)，即我們認(rèn)為擾動(dòng)項(xiàng)存在異方差。

②多重共線性

自相關(guān)的問(wèn)題就是多重共線性的問(wèn)題

如何檢驗(yàn)是否存在多重共線性

3.處理問(wèn)題

①如何解決異方差

• 使用OLS + 穩(wěn)健的標(biāo)準(zhǔn)誤。如果發(fā)現(xiàn)存在異方差，一種處理方法是，仍然進(jìn)行OLS回歸，但使用穩(wěn)健標(biāo)準(zhǔn)誤。這是最簡(jiǎn)單，也是目前通用的方法。只要樣本容量較大，即使在異方差的情況下，若使用穩(wěn)健標(biāo)準(zhǔn)誤，則所有參數(shù)估計(jì)、假設(shè)檢驗(yàn)均可照常進(jìn)行。換言之，只要使用了穩(wěn)健標(biāo)準(zhǔn)誤，就可以與異方差“和平共處”了
• 廣義最小二乘估計(jì)法GLS。原理：方差較大的數(shù)據(jù)包含的信息較少，我們可以給予信息量大的數(shù)據(jù)（即方差較小的數(shù)據(jù)更大的權(quán)重）缺點(diǎn)：我們不知道擾動(dòng)項(xiàng)真實(shí)的協(xié)方差矩陣，因此我們只能用樣本數(shù)據(jù)來(lái)估計(jì)，這樣得到的結(jié)果不穩(wěn)健，存在偶然性
• Stock and Watson (2011)推薦，在大多數(shù)情況下應(yīng)該使用“OLS +穩(wěn)健標(biāo)準(zhǔn)誤”

②如何處理多重共線性

• 如果不關(guān)心具體的回歸系數(shù)，而只關(guān)心整個(gè)方程預(yù)測(cè)被解釋變量的能力，則通?？梢圆槐乩頃?huì)多重共線性（假設(shè)你的整個(gè)方程是顯著的）。這是因?yàn)?#xff0c;多重共線性的主要后果是使得對(duì)單個(gè)變量的貢獻(xiàn)估計(jì)不準(zhǔn)，但所有變量的整體效應(yīng)仍可以較準(zhǔn)確地估計(jì)
• 如果關(guān)心具體的回歸系數(shù)，但多重共線性并不影響所關(guān)心變量的顯著性，那么也可以不必理會(huì)。即使在有方差膨脹的情況下，這些系數(shù)依然顯著;如果沒有多重共線性，則只會(huì)更加顯著
• 如果多重共線性影響到所關(guān)心變量的顯著性，則需要增大樣本容量，剔除導(dǎo)致嚴(yán)重共線性的變量（不要輕易刪除哦，因?yàn)榭赡軙?huì)有內(nèi)生性的影響），或?qū)δＰ驮O(shè)定進(jìn)行修改

③逐步回歸分析

沒有太好的方法處理多重共線性問(wèn)題，可以調(diào)整回歸的方式

向前逐步回歸（Forward selection）

• 將自變量逐個(gè)引入模型，每引入一個(gè)自變量后都要進(jìn)行檢驗(yàn)，顯著時(shí)才加入回歸模型
• 缺點(diǎn)：隨著以后其他自變量的引入，原來(lái)顯著的自變量也可能又變?yōu)椴伙@著了，但是，并沒有將其及時(shí)從回歸方程中剔除掉

向后逐步回歸（Backward elimination）

• 與向前逐步回歸相反，先將所有變量均放入模型，之后嘗試將其中一個(gè)自變量從模型中剔除，看整個(gè)模型解釋因變量的變異是否有顯著變化，之后將最沒有解釋力的那個(gè)自變量剔除。此過(guò)程不斷迭代，直到?jīng)]有自變量符合剔除的條件
• 缺點(diǎn)：一開始把全部變量都引入回歸方程，這樣計(jì)算量比較大。若對(duì)一些不重要的變量，一開始就不引入，這樣就可以減少一些計(jì)算。當(dāng)然這個(gè)缺點(diǎn)隨著現(xiàn)在計(jì)算機(jī)的能力的提升，已經(jīng)變得不算問(wèn)題了

注意事項(xiàng)

• 向前逐步回歸和向后逐步回歸的結(jié)果可能不同
• 不要輕易使用逐步回歸分析，因?yàn)樘蕹俗宰兞亢蠛苡锌赡軙?huì)產(chǎn)生新的問(wèn)題，例如內(nèi)生性問(wèn)題（后面會(huì)介紹lasso回歸）
• 有沒有更加優(yōu)秀的篩選方法？有的，那就是每種情況都嘗試一次，最終一共有2的k次方 - 1種可能。如果自變量很多，那么計(jì)算相當(dāng)費(fèi)時(shí)

4.解釋系數(shù)

這里也可以看到，引入了新的自變量?jī)r(jià)格后，對(duì)回歸系數(shù)的影響非常大。這就是遺漏變量導(dǎo)致的內(nèi)生性的造成的。

伍德里奇的《計(jì)量經(jīng)濟(jì)學(xué)導(dǎo)論，現(xiàn)代觀點(diǎn)》里，第六章176 -177頁(yè)有詳細(xì)的論述。取對(duì)數(shù)意味著原被解釋變量對(duì)解釋變量的彈性，即百分比的變化而不是數(shù)值的變化。目前，對(duì)于什么時(shí)候取對(duì)數(shù)還沒有固定的規(guī)則，但是有一些經(jīng)驗(yàn)法則

• 與市場(chǎng)價(jià)值相關(guān)的，例如，價(jià)格、銷售額、工資等都可以取對(duì)數(shù)
• 以年度量的變量，如受教育年限、工作經(jīng)歷等通常不取對(duì)數(shù)
• 比例變量，如失業(yè)率、參與率等，兩者均可
• 變量取值必須是非負(fù)數(shù)，如果包含0，則可以對(duì)y取對(duì)數(shù)ln(1+y)

取對(duì)數(shù)的好處

• 減弱數(shù)據(jù)的異方差性
• 如果變量本身不符合正態(tài)分布，取了對(duì)數(shù)后可能漸近服從正態(tài)分布
• 模型形式的需要，讓模型具有經(jīng)濟(jì)學(xué)意義

下面有四類模型回歸系數(shù)的解釋

• 一元線性回歸：y = a + bx + μ，x每增加1個(gè)單位，y平均變化b個(gè)單位
• 雙對(duì)數(shù)模型：?lny = a + blnx + μ，x每增加1%，y平均變化b%
• 半對(duì)數(shù)模型：?y = a + blnx + μ，x每增加1%，y平均變化b/100個(gè)單位
• 半對(duì)數(shù)模型：?lny = a + bx + μ，x每增加1個(gè)單位，y平均變化(100b)%

5.再次回歸

在前面已經(jīng)介紹了如何解決存在異方差的情況。但是對(duì)于多重共線性并未有一個(gè)較好的解決方法，解決方法中的增大樣本量顯然不太現(xiàn)實(shí)，找點(diǎn)數(shù)據(jù)已經(jīng)不容易了，還要增大樣本量。所以在不用后面的方法的情況下，一般都是將導(dǎo)致嚴(yán)重共線性的變量刪除。下面我們介紹lasso回歸。

和lasso回歸一起出來(lái)的，還有嶺回歸。事實(shí)上，回歸中關(guān)于自變量的選擇大有門道， 變量過(guò)多時(shí)可能會(huì)導(dǎo)致多重共線性問(wèn)題造成回歸系數(shù)的不顯著，甚至造成OLS估計(jì)的失效。本篇介紹到的嶺回歸和lasso回歸在OLS回歸模型的損失函數(shù)上加上了不同的懲罰項(xiàng)，該懲罰項(xiàng)由回歸系數(shù)的函數(shù)構(gòu)成。一方面，加入的懲罰項(xiàng)能夠識(shí)別出模型中不重要的變量，對(duì)模型起到簡(jiǎn)化作用，可以看作逐步回歸法的升級(jí)版；另一方面，加入的懲罰項(xiàng)能夠讓模型變得可估計(jì)，即使之前的數(shù)據(jù)不滿足列滿秩。

和前面一樣，還是推薦使用Stata軟件分析。但大多數(shù)博客或講義上都是使用Python來(lái)做嶺回歸和lasso回歸的，因此有Python機(jī)器學(xué)習(xí)基礎(chǔ)的同學(xué)可以自己查閱相關(guān)的調(diào)用代碼。

另外，Stata中對(duì)于嶺回歸的估計(jì)有點(diǎn)bug，因此推薦用lasso回歸。

那么，什么時(shí)候用lasso回歸呢？

我們首先使用最一般的OLS對(duì)數(shù)據(jù)進(jìn)行回歸，然后計(jì)算方差膨脹因子VIF，如果VIF > 10則說(shuō)明存在多重共線性的問(wèn)題，此時(shí)我們需要對(duì)變量進(jìn)行篩選。

在前面我們提到可以使用逐步回歸法來(lái)篩選自變量，讓回歸中僅留下顯著的自變量來(lái)抵消多重共線性的影響，知道lasso回歸后，我們完全可以把lasso回歸視為逐步回歸法的進(jìn)階版，我們可以使用lasso回歸來(lái)幫我們篩選出不重要的變量，步驟如下

1. 判斷自變量的量綱是否一樣，如果不一樣則首先進(jìn)行標(biāo)準(zhǔn)化的預(yù)處理;
2. 對(duì)變量使用lasso回歸，記錄下lasso回歸結(jié)果表中回歸系數(shù)不為0的變量，這些變量就是最終我們要留下來(lái)的重要變量，其余未出現(xiàn)在表中的變量可視為引起多重共線性的不重要變量

在得到了重要變量后，我們實(shí)際上就完成了變量篩選，此時(shí)我們只將這些重要變量視為自變量，然后進(jìn)行回歸，并分析回歸結(jié)果即可。（注意：此時(shí)的變量可以是標(biāo)準(zhǔn)化前的，也可以是標(biāo)準(zhǔn)化后的，因?yàn)閘asso只起到變量篩選的目的）

五、補(bǔ)充

1.擬合優(yōu)度較低怎么辦

• 回歸分為解釋型回歸和預(yù)測(cè)型回歸。預(yù)測(cè)型回歸一般才會(huì)更看重R2。解釋型回歸更多的關(guān)注模型整體顯著性以及自變量的統(tǒng)計(jì)顯著性和經(jīng)濟(jì)意義顯著性即可
• 可以對(duì)模型進(jìn)行調(diào)整，例如對(duì)數(shù)據(jù)取對(duì)數(shù)或者平方后再進(jìn)行回歸
• 數(shù)據(jù)中可能有存在異常值或者數(shù)據(jù)的分布極度不均勻

2.標(biāo)準(zhǔn)化回歸系數(shù)

為了更為精準(zhǔn)的研究影響評(píng)價(jià)量的重要因素（去除量綱的影響），我們可考慮使用標(biāo)準(zhǔn)化回歸系數(shù)。

對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，就是將原始數(shù)據(jù)減去它的均數(shù)后，再除以該變量的標(biāo)準(zhǔn)差，計(jì)算得到新的變量值，新變量構(gòu)成的回歸方程稱為標(biāo)準(zhǔn)化回歸方程，回歸后相應(yīng)可得到標(biāo)準(zhǔn)化回歸系數(shù)。

標(biāo)準(zhǔn)化系數(shù)的絕對(duì)值越大，說(shuō)明對(duì)因變量的影響就越大（只關(guān)注顯著的回歸系數(shù)哦）。

3.對(duì)于線性的理解

線性假定并不要求初始模型都呈上述的嚴(yán)格線性關(guān)系，自變量與因變量可通過(guò)變量替換而轉(zhuǎn)化成線性模型。比如下面的都是線性模型