參數(shù)估計(jì)是數(shù)理統(tǒng)計(jì)中重要的基本問題之一。通常，稱參數(shù)的可容許值的全體為參數(shù)空間，并記為 $\Theta$。所謂參數(shù)估計(jì)就是由樣本對總體分布所含的未知參數(shù)做出估計(jì)。另外，在有些實(shí)際問題中，由于事先并不知道總體 $X$ 的分布類型，而要對其某些數(shù)字特征，如均值、方差等做出估計(jì)，習(xí)慣上也把這些數(shù)字特征稱為參數(shù)，對它們進(jìn)行估計(jì)也屬于參數(shù)估計(jì)范疇。

點(diǎn)估計(jì)和估計(jì)量的求法

點(diǎn)估計(jì)概念

設(shè)總體 $X$ 的分布函數(shù)是 $F(x;{\theta }_1,...,{\theta }_l)$，其中 ${\theta }_1,...,{\theta }_l$ 是未知參數(shù)，$X_1,...,X_n$ 是來自總體 $X$ 的樣本，$x_1,...,x_n$ 是相應(yīng)的樣本值，參數(shù)點(diǎn)估計(jì)就是研究如何構(gòu)造適當(dāng)?shù)慕y(tǒng)計(jì)量 ${\hat{\theta }}_i(X_1,...,X_n)$，并分別用觀察值 ${\hat{\theta }}_i(x_1,...,x_n)$ 作為未知參數(shù) ${\theta }_i$ 的估計(jì)。

通常，稱用作估計(jì)的統(tǒng)計(jì)量 ${\hat{\theta }}_i(X_1,...,X_n)$ 為估計(jì)量，稱其觀察值 ${\hat{\theta }}_i(x_1,...,x_n)$ 為估計(jì)值。

由于對不同的樣本值，得到的參數(shù)估計(jì)值往往不同，因此，點(diǎn)估計(jì)問題的關(guān)鍵在于構(gòu)造估計(jì)量的方法。下面介紹求估計(jì)量的一些常用方法。

矩估計(jì)法

設(shè)總體 $X$ 的分布中含有 $l$ 個(gè)未知參數(shù) ${\theta }_1,...,{\theta }_l$，又設(shè)總體 $X$ 的前 $l$ 階原點(diǎn)矩 ${\alpha }_k=E(X^k)(k=1,...,l)$ 存在，且是 ${\theta }_1,...,{\theta }_l$ 的函數(shù)，即 ${\alpha }_k={\alpha }_k({\theta }_1,...,{\theta }_l)$，令
$${\alpha }_k({\hat{\theta }}_1,...,{\hat{\theta }}_l)=A_k,k=1,...,l$$
解此方程組可得 ${\hat{\theta }}_1,...,{\hat{\theta }}_l$，并將它們分別作為 ${\theta }_1,...,{\theta }_l$ 的估計(jì)量。這種求估計(jì)量的方法稱為矩估計(jì)法，用矩估計(jì)法求得的估計(jì)量稱為矩估計(jì)量。

例：設(shè)總體 $X$ 的二階矩存在，$X_1,...,X_n$ 為總體 $X$ 的樣本，求總體均值 $\mu$ 與總體方差 ${\sigma }^2$ 的矩估計(jì)。

解：因 ${\alpha }_1=\mu ,{\alpha }_2={\sigma }^2+{\mu }^2$，令 $$\{\begin{array}{l}\hat{\mu }=A_1=\bar{X}\\ {\hat{\sigma }}^2+{\hat{\mu }}^2=A_2=\frac{1}{n}{\sum }_{i=1}^n{X}_i^2\end{array}$$
解得 $\mu$ 與 ${\sigma }^2$ 的矩估計(jì)分別為
$$\hat{\mu }=\bar{X}$$$${\hat{\sigma }}^2=A_2?{\bar{X}}^2=S^2$$

極大似然估計(jì)法

以下用 $\mathbf{X}=(X_1,...,X_n{)}^T$ 表示樣本，$\mathbf{x}=(x_1,...,x_n{)}^T$ 表示樣本點(diǎn)，$f(\mathbf{x};\theta )$ 表示樣本分布。

極大似然法的提出是基于如下的想法：

當(dāng)給定 $\theta$ 時(shí)，$f(\mathbf{x};\theta )$ 度量樣本 $\mathbf{X}$ 在 $\mathbf{x}$ 點(diǎn)發(fā)生的可能性。對于樣本空間中的兩個(gè)不同樣本點(diǎn) ${\mathbf{x}}_1,{\mathbf{x}}_2\in \mathcal{X}$，如果有 $f({\mathbf{x}}_1;\theta )>f({\mathbf{x}}_2;\theta )$，自然會認(rèn)為樣本 $\mathbf{X}$ 更可能在 ${\mathbf{x}}_1$ 點(diǎn)發(fā)生。

現(xiàn)在換個(gè)角度來看待 $f(\mathbf{x};\theta )$。當(dāng)給定樣本點(diǎn) $\mathbf{x}$ 時(shí)，對參數(shù)空間中的兩個(gè)不同參數(shù) ${\theta }_1,{\theta }_2\in \Theta$，如果有 $f(\mathbf{x};{\theta }_1)>f(\mathbf{x};{\theta }_2)$，那么會認(rèn)為樣本點(diǎn) $\mathbf{x}$ 更像是來自總體 $f(\mathbf{X};{\theta }_1)$，所以，數(shù) $f(\mathbf{x};\theta )$ 的大小可作為參數(shù) $\theta$ 對產(chǎn)生樣本觀察值 $\mathbf{x}$ 有多大似然性的一種度量。

當(dāng)給定樣本點(diǎn) $\mathbf{x}$ 時(shí)，稱 $f(\mathbf{x};\theta )$ 為 $\theta$ 的似然函數(shù)，記為 $L(\theta ;\mathbf{x})$，即
$$L(\theta ;\mathbf{x})=f(\mathbf{x};\theta )=\{\begin{array}{ll}{\prod }_{i=1}^{n}p(x_i;\theta ),& 總體X為離散型隨機(jī)變量\\ {\prod }_{i=1}^{n}f(x_i;\theta ),& 總體X為連續(xù)型隨機(jī)變量\end{array}$$
而稱 $\ln f(\mathbf{x};\theta )$ 為對數(shù)似然函數(shù)，記為 $\ln L(\theta ;\mathbf{x})$。

若有統(tǒng)計(jì)量 $\hat{\theta }?\hat{\theta }(\mathbf{X})$，使得
L ( θ ^ ( x ) ; x ) = sup ? θ ∈ Θ { L ( θ ; x ) } L(\hat{\theta}(\boldsymbol{x});\boldsymbol{x})=\sup_{\theta \in \Theta}\{L(\theta;\boldsymbol{x})\} L(θ^(x);x)=θ∈Θsup?{L(θ;x)}
或等價(jià)的，使得
ln ? L ( θ ^ ( x ) ; x ) = sup ? θ ∈ Θ { ln ? L ( θ ; x ) } \ln L(\hat{\theta}(\boldsymbol{x});\boldsymbol{x})=\sup_{\theta \in \Theta}\{\ln L(\theta;\boldsymbol{x})\} lnL(θ^(x);x)=θ∈Θsup?{lnL(θ;x)}
則稱 $\hat{\theta }(\mathbf{X})$ 為參數(shù) $\theta$ 的極大似然估計(jì)量（Maximum Likelihood Estimators, MLE）。

例：設(shè)總體 $X～P(\lambda ),\lambda >0$，試求參數(shù) $\lambda$ 的極大似然估計(jì)量。

解：$X$ 的概率函數(shù)為
P { X = x } = λ x x ! e ? λ , x = 0 , 1 , 2 , . . . P\{X=x\}=\frac{\lambda^x}{x!}e^{-\lambda},\quad x=0,1,2,... P{X=x}=x!λx?e?λ,x=0,1,2,...
故 $\lambda$ 的似然函數(shù)為
$$L(\lambda )=\prod _{i=1}^n(\frac{{\lambda }^{x_i}}{x_i!}{e}^{?\lambda })=e^{?n\lambda }\frac{{\lambda }^{{\sum }_{i=1}^n{x}_i}}{{\prod }_{i=1}^n(x_i!)}$$
對數(shù)似然函數(shù)為
$$\ln L(\lambda )=?n\lambda +\ln \lambda \sum _{i=1}^n{x}_i?\sum _{i=1}^n\ln (x_i!)$$
令
$$\frac{?\ln L(\lambda )}{?\lambda }=?n+\frac{1}{\lambda }\sum _{i=1}^n{x}_i=0$$
該似然方程有唯一解 $\hat{\lambda }=\frac{1}{n}{\sum }_{i=1}^n{x}_i=\bar{x}$，又因
$$\frac{{?}^2\ln L(\lambda )}{?{\lambda }^2}{|}_{\lambda =\bar{x}}<0$$
故 $\lambda$ 的極大似然估計(jì)量為 $\hat{\lambda }=\bar{X}$。

參考文獻(xiàn)

[1] 《應(yīng)用數(shù)理統(tǒng)計(jì)》，施雨，西安交通大學(xué)出版社。