韓國ps教程網(wǎng)站朋友圈廣告推廣代理
正態(tài)分布的奇妙性質(zhì):為什么奇數(shù)階矩為零?
正態(tài)分布(Normal Distribution)是統(tǒng)計學中最常見的分布之一,它的鐘形曲線幾乎無處不在,從身高體重到測量誤差,都能看到它的影子。除了均值和方差這兩個核心參數(shù),正態(tài)分布還有一個有趣的特性:它的奇數(shù)階中心矩(odd central moments)全部為零,比如 ( E [ x ? μ ] = 0 E[x - \mu] = 0 E[x?μ]=0 ) 和 ( E [ ( x ? μ ) 3 ] = 0 E[(x - \mu)^3] = 0 E[(x?μ)3]=0 )。這到底是怎么回事?今天我們就來聊聊這個性質(zhì)的由來、證明,以及它背后的意義。
什么是中心矩?
在探討奇數(shù)階矩之前,我們先明白什么是中心矩。中心矩是描述隨機變量偏離其均值 ( μ \mu μ ) 的統(tǒng)計量,定義為:
μ k = E [ ( x ? μ ) k ] \mu_k = E[(x - \mu)^k] μk?=E[(x?μ)k]
- ( k = 1 k = 1 k=1 ):一階中心矩,( E [ x ? μ ] E[x - \mu] E[x?μ] ),總是等于零(因為 ( E [ x ] = μ E[x] = \mu E[x]=μ ))。
- ( k = 2 k = 2 k=2 ):二階中心矩,就是方差 ( σ 2 \sigma^2 σ2 )。
- ( k = 3 k = 3 k=3 ):三階中心矩,衡量分布的偏度(skewness)。
- ( k = 4 k = 4 k=4 ):四階中心矩,與峰度(kurtosis)相關(guān)。
對于正態(tài)分布,我們關(guān)心的是這些矩的特性,尤其是奇數(shù)階(( k = 1 , 3 , 5 , … k = 1, 3, 5, \dots k=1,3,5,… ))的中心矩。
正態(tài)分布的奇數(shù)階矩為零
正態(tài)分布的概率密度函數(shù)為:
p ( x ∣ μ , σ 2 ) = 1 2 π σ 2 exp ? ( ? ( x ? μ ) 2 2 σ 2 ) p(x | \mu, \sigma^2) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left( -\frac{(x - \mu)^2}{2\sigma^2} \right) p(x∣μ,σ2)=2πσ2?1?exp(?2σ2(x?μ)2?)
它的一個顯著特點是對稱性:以均值 ( μ \mu μ ) 為中心,左右兩側(cè)完全對稱。這種對稱性直觀地暗示了一個結(jié)論:奇數(shù)階中心矩為零。為什么呢?
通俗解釋
想象你在玩一個對稱的蹺蹺板,中間是均值 ( μ \mu μ )。你把 ( x ? μ x - \mu x?μ )(偏離均值的距離)拿來計算奇數(shù)次方,比如 ( ( x ? μ ) 3 (x - \mu)^3 (x?μ)3 )。因為正態(tài)分布是對稱的,對于每一個正的 ( x ? μ x - \mu x?μ )(比如 +2),總有一個對應的負的 ( ? ( x ? μ ) - (x - \mu) ?(x?μ) )(比如 -2),它們的概率密度相等。奇數(shù)次方會保留正負號:
- ( ( + 2 ) 3 = 8 (+2)^3 = 8 (+2)3=8 )
- ( ( ? 2 ) 3 = ? 8 (-2)^3 = -8 (?2)3=?8 )
當你把這些值按概率加權(quán)平均時,正負項正好抵消,結(jié)果為零。這種對稱性是奇數(shù)階矩為零的直觀原因。
數(shù)學證明
現(xiàn)在,讓我們用數(shù)學來證明這個性質(zhì)。以 ( k = 3 k = 3 k=3 )(三階中心矩)為例,證明 ( E [ ( x ? μ ) 3 ] = 0 E[(x - \mu)^3] = 0 E[(x?μ)3]=0 ),其他奇數(shù)階的證明類似。
步驟 1:定義期望
對于 ( x ~ N ( μ , σ 2 ) x \sim N(\mu, \sigma^2) x~N(μ,σ2) ),三階中心矩是:
E [ ( x ? μ ) 3 ] = ∫ ? ∞ ∞ ( x ? μ ) 3 ? 1 2 π σ 2 exp ? ( ? ( x ? μ ) 2 2 σ 2 ) d x E[(x - \mu)^3] = \int_{-\infty}^{\infty} (x - \mu)^3 \cdot \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left( -\frac{(x - \mu)^2}{2\sigma^2} \right) \, dx E[(x?μ)3]=∫?∞∞?(x?μ)3?2πσ2?1?exp(?2σ2(x?μ)2?)dx
步驟 2:變量替換
為了簡化計算,令 ( z = x ? μ σ z = \frac{x - \mu}{\sigma} z=σx?μ? ),則 ( x ? μ = σ z x - \mu = \sigma z x?μ=σz ),( d x = σ d z dx = \sigma \, dz dx=σdz ),且 ( z ~ N ( 0 , 1 ) z \sim N(0, 1) z~N(0,1))(標準正態(tài)分布),概率密度為:
? ( z ) = 1 2 π e ? z 2 2 \phi(z) = \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} ?(z)=2π?1?e?2z2?
代入后:
E [ ( x ? μ ) 3 ] = ∫ ? ∞ ∞ ( σ z ) 3 ? 1 2 π e ? z 2 2 ? σ d z E[(x - \mu)^3] = \int_{-\infty}^{\infty} (\sigma z)^3 \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} \cdot \sigma \, dz E[(x?μ)3]=∫?∞∞?(σz)3?2π?1?e?2z2??σdz
= σ 3 ∫ ? ∞ ∞ z 3 ? 1 2 π e ? z 2 2 d z = \sigma^3 \int_{-\infty}^{\infty} z^3 \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} \, dz =σ3∫?∞∞?z3?2π?1?e?2z2?dz
步驟 3:分析被積函數(shù)
被積函數(shù)是 ( f ( z ) = z 3 ? 1 2 π e ? z 2 2 f(z) = z^3 \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} f(z)=z3?2π?1?e?2z2? )。我們需要判斷這個積分是否為零。關(guān)鍵在于 ( f ( z ) f(z) f(z) ) 的性質(zhì):
- ( z 3 z^3 z3 ) 是奇函數(shù)(odd function),因為 ( ( ? z ) 3 = ? z 3 (-z)^3 = -z^3 (?z)3=?z3 )。
- ( 1 2 π e ? z 2 2 \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} 2π?1?e?2z2? ) 是偶函數(shù)(even function),因為 ( e ? ( ? z ) 2 2 = e ? z 2 2 e^{-\frac{(-z)^2}{2}} = e^{-\frac{z^2}{2}} e?2(?z)2?=e?2z2? )。
奇函數(shù)乘以偶函數(shù)的結(jié)果還是奇函數(shù):
f ( ? z ) = ( ? z ) 3 ? 1 2 π e ? ( ? z ) 2 2 = ? z 3 ? 1 2 π e ? z 2 2 = ? f ( z ) f(-z) = (-z)^3 \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{(-z)^2}{2}} = -z^3 \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} = -f(z) f(?z)=(?z)3?2π?1?e?2(?z)2?=?z3?2π?1?e?2z2?=?f(z)
步驟 4:奇函數(shù)積分的性質(zhì)
對于任意奇函數(shù) ( f ( z ) f(z) f(z) ),在對稱區(qū)間 ( [ ? ∞ , ∞ ] [-\infty, \infty] [?∞,∞] ) 上積分(假設(shè)積分收斂):
∫ ? ∞ ∞ f ( z ) d z = ∫ ? ∞ 0 f ( z ) d z + ∫ 0 ∞ f ( z ) d z \int_{-\infty}^{\infty} f(z) \, dz = \int_{-\infty}^{0} f(z) \, dz + \int_{0}^{\infty} f(z) \, dz ∫?∞∞?f(z)dz=∫?∞0?f(z)dz+∫0∞?f(z)dz
令 ( u = ? z u = -z u=?z ),則:
∫ ? ∞ 0 f ( z ) d z = ∫ ∞ 0 f ( ? u ) ( ? d u ) = ∫ 0 ∞ ? f ( u ) d u = ? ∫ 0 ∞ f ( u ) d u \int_{-\infty}^{0} f(z) \, dz = \int_{\infty}^{0} f(-u) (-du) = \int_{0}^{\infty} -f(u) \, du = -\int_{0}^{\infty} f(u) \, du ∫?∞0?f(z)dz=∫∞0?f(?u)(?du)=∫0∞??f(u)du=?∫0∞?f(u)du
所以:
∫ ? ∞ ∞ f ( z ) d z = ? ∫ 0 ∞ f ( z ) d z + ∫ 0 ∞ f ( z ) d z = 0 \int_{-\infty}^{\infty} f(z) \, dz = -\int_{0}^{\infty} f(z) \, dz + \int_{0}^{\infty} f(z) \, dz = 0 ∫?∞∞?f(z)dz=?∫0∞?f(z)dz+∫0∞?f(z)dz=0
對于 ( f ( z ) = z 3 ? 1 2 π e ? z 2 2 f(z) = z^3 \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} f(z)=z3?2π?1?e?2z2? ),由于 ( e ? z 2 2 e^{-\frac{z^2}{2}} e?2z2? ) 衰減很快,積分收斂,奇函數(shù)性質(zhì)保證:
∫ ? ∞ ∞ z 3 ? 1 2 π e ? z 2 2 d z = 0 \int_{-\infty}^{\infty} z^3 \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} \, dz = 0 ∫?∞∞?z3?2π?1?e?2z2?dz=0
因此:
E [ ( x ? μ ) 3 ] = σ 3 ? 0 = 0 E[(x - \mu)^3] = \sigma^3 \cdot 0 = 0 E[(x?μ)3]=σ3?0=0
推廣到所有奇數(shù)階
對于任意奇數(shù) ( k = 2 n + 1 k = 2n + 1 k=2n+1 )(( n = 0 , 1 , 2 , … n = 0, 1, 2, \dots n=0,1,2,… )),( ( x ? μ ) 2 n + 1 (x - \mu)^{2n+1} (x?μ)2n+1 ) 是奇函數(shù),乘以偶函數(shù) ( 1 2 π σ 2 e ? ( x ? μ ) 2 2 σ 2 \frac{1}{\sqrt{2\pi \sigma^2}} e^{-\frac{(x - \mu)^2}{2\sigma^2}} 2πσ2?1?e?2σ2(x?μ)2? ) 后仍為奇函數(shù),積分從 ( ? ∞ -\infty ?∞ ) 到 ( ∞ \infty ∞ ) 為零。所以,所有奇數(shù)階中心矩都為零。
補充信息
1. 為什么偶數(shù)階矩不為零?
偶數(shù)次方(如 ( ( x ? μ ) 2 (x - \mu)^2 (x?μ)2 ) 或 ( ( x ? μ ) 4 (x - \mu)^4 (x?μ)4 ))是偶函數(shù),乘以偶函數(shù)后仍是偶函數(shù),積分不會抵消。例如:
- ( E [ ( x ? μ ) 2 ] = σ 2 E[(x - \mu)^2] = \sigma^2 E[(x?μ)2]=σ2 )(方差)
- ( E [ ( x ? μ ) 4 ] = 3 σ 4 E[(x - \mu)^4] = 3\sigma^4 E[(x?μ)4]=3σ4 )(四階矩)
這些值反映了分布的寬度和形狀。
2. 偏度的含義
三階中心矩 ( E [ ( x ? μ ) 3 ] E[(x - \mu)^3] E[(x?μ)3] ) 與偏度相關(guān)。偏度為零意味著分布沒有左偏或右偏,正態(tài)分布的對稱性恰好保證了這一點。如果分布不對稱(例如指數(shù)分布),奇數(shù)階矩就不為零。
3. 在統(tǒng)計中的應用
奇數(shù)階矩為零在統(tǒng)計推斷中很有用。例如,在計算Fisher信息矩陣時:
I 12 = E [ x ? μ σ 2 ? ( ? 1 2 σ 2 + ( x ? μ ) 2 2 ( σ 2 ) 2 ) ] I_{12} = E\left[ \frac{x - \mu}{\sigma^2} \cdot \left( -\frac{1}{2\sigma^2} + \frac{(x - \mu)^2}{2(\sigma^2)^2} \right) \right] I12?=E[σ2x?μ??(?2σ21?+2(σ2)2(x?μ)2?)]
因為 ( E [ x ? μ ] = 0 E[x - \mu] = 0 E[x?μ]=0 ) 和 ( E [ ( x ? μ ) 3 ] = 0 E[(x - \mu)^3] = 0 E[(x?μ)3]=0 ),交叉項為零,說明 ( μ \mu μ ) 和 ( σ 2 \sigma^2 σ2 ) 信息正交。
具體參考參考筆者的另一篇博客:Fisher信息矩陣(Fisher Information Matrix,簡稱FIM)
4. 其他分布呢?
并非所有分布的奇數(shù)階矩都為零。例如:
- 指數(shù)分布 ( f ( x ) = λ e ? λ x f(x) = \lambda e^{-\lambda x} f(x)=λe?λx )(( x ≥ 0 x \geq 0 x≥0 )),( E [ ( x ? μ ) 3 ] ≠ 0 E[(x - \mu)^3] \neq 0 E[(x?μ)3]=0 ),因為它右偏。
- 對稱的均勻分布也有奇數(shù)階矩為零,但范圍有限。
正態(tài)分布的無限對稱支持和指數(shù)衰減共同造就了這個特性。
總結(jié)
正態(tài)分布的奇數(shù)階中心矩為零源于其完美的對稱性。奇函數(shù)與偶函數(shù)相乘后,積分在對稱區(qū)間上抵消,數(shù)學上嚴謹?shù)刈C明了這一點。這個性質(zhì)不僅讓正態(tài)分布更加“優(yōu)雅”,還在統(tǒng)計估計、信息理論中簡化了計算,比如保證參數(shù)間的正交性。下次看到正態(tài)分布的鐘形曲線,不妨想想它隱藏的這些奇妙特性!
后記
2025年2月24日22點07分于上海,在Grok3大模型輔助下完成。