此示例是 什么是極大似然估計(jì) 中的一個(gè)例子，本文的目的是給出更加詳細(xì)的方程求解步驟，便于數(shù)學(xué)基礎(chǔ)不好的同學(xué)理解。

目標(biāo)

假設(shè)我們有一組樣本數(shù)據(jù) $x_1,x_2,\dots ,x_n$，它們來自一個(gè)正態(tài)分布 $N(\mu ,{\sigma }^2)$，我們的目標(biāo)是通過極大似然估計(jì)（MLE）來找到正態(tài)分布的兩個(gè)參數(shù) $\mu$ 和 ${\sigma }^2$。

對(duì)數(shù)似然函數(shù)

正態(tài)分布的概率密度函數(shù)為：
$$f(x_i|\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(?\frac{(x_i?\mu {)}^2}{2{\sigma }^2}\right)$$

給定樣本 $x_1,x_2,\dots ,x_n$，樣本的似然函數(shù)為：
$$L(\mu ,{\sigma }^2)=\prod _{i=1}^n\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(?\frac{(x_i?\mu {)}^2}{2{\sigma }^2}\right)$$

對(duì)似然函數(shù)取對(duì)數(shù)，得到對(duì)數(shù)似然函數(shù)：
$$?(\mu ,{\sigma }^2)=\log L(\mu ,{\sigma }^2)=\sum _{i=1}^n\log \left(\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(?\frac{(x_i?\mu {)}^2}{2{\sigma }^2}\right)\right)$$

我們可以將對(duì)數(shù)似然函數(shù)分解為三部分：
$$?(\mu ,{\sigma }^2)=?\frac{n}{2}\log (2\pi )?\frac{n}{2}\log ({\sigma }^2)?\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i?\mu {)}^2$$

現(xiàn)在我們分別對(duì) $\mu$ 和 ${\sigma }^2$ 求導(dǎo)。

---

一、對(duì) $\mu$ 求導(dǎo)

首先，對(duì) $\mu$ 求導(dǎo)，方程中的 $\mu$ 僅出現(xiàn)在最后一項(xiàng) ${\sum }_{i=1}^n(x_i?\mu {)}^2$ 中，因此我們只對(duì)這一項(xiàng)求導(dǎo)：
$$?(\mu ,{\sigma }^2)=?\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i?\mu {)}^2$$

對(duì) $\mu$ 求導(dǎo)：
$$\frac{??}{?\mu }=?\frac{1}{2{\sigma }^2}?2\sum _{i=1}^n(x_i?\mu )(?1)$$

簡(jiǎn)化后為：
$$\frac{??}{?\mu }=\frac{1}{{\sigma }^2}\sum _{i=1}^n(x_i?\mu )$$

將這個(gè)導(dǎo)數(shù)設(shè)為 0，來找到 $\mu$ 的極大似然估計(jì)：
$$\frac{1}{{\sigma }^2}\sum _{i=1}^n(x_i?\mu )=0$$

因?yàn)?${\sigma }^2\ne 0$，我們可以省略 $\frac{1}{{\sigma }^2}$，得到：
$$\sum _{i=1}^n(x_i?\mu )=0$$

簡(jiǎn)化為：
$$n\mu =\sum _{i=1}^n{x}_i$$

因此，$\mu$ 的極大似然估計(jì)為：
$$\hat{\mu }=\frac{1}{n}\sum _{i=1}^n{x}_i$$

這意味著，樣本的均值是 $\mu$ 的極大似然估計(jì)。

---

二、對(duì) ${\sigma }^2$ 求導(dǎo)

接下來我們對(duì) ${\sigma }^2$ 求導(dǎo)。對(duì)數(shù)似然函數(shù)中關(guān)于 ${\sigma }^2$ 的部分是：
$$?(\mu ,{\sigma }^2)=?\frac{n}{2}\log (2\pi )?\frac{n}{2}\log ({\sigma }^2)?\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i?\mu {)}^2$$

我們對(duì) ${\sigma }^2$ 求導(dǎo)，逐項(xiàng)進(jìn)行求導(dǎo)：

1. 第一項(xiàng) $?\frac{n}{2}\log (2\pi )$ 是常數(shù)，對(duì) ${\sigma }^2$ 求導(dǎo)為 0。

2. 第二項(xiàng) $?\frac{n}{2}\log ({\sigma }^2)$：

   使用對(duì)數(shù)函數(shù)的求導(dǎo)公式 $\frac{d}{d{\sigma }^2}(\log {\sigma }^2)=\frac{1}{{\sigma }^2}$，我們有：
   $$\frac{?}{?{\sigma }^2}\left(?\frac{n}{2}\log ({\sigma }^2)\right)=?\frac{n}{2{\sigma }^2}$$

3. 第三項(xiàng) $?\frac{1}{2{\sigma }^2}{\sum }_{i=1}^n(x_i?\mu {)}^2$：

   使用 $\frac{d}{d{\sigma }^2}\left(\frac{1}{{\sigma }^2}\right)=?\frac{1}{{\sigma }^4}$，我們得到：
   $$\frac{?}{?{\sigma }^2}\left(?\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i?\mu {)}^2\right)=\frac{1}{2{\sigma }^4}\sum _{i=1}^n(x_i?\mu {)}^2$$

將各項(xiàng)導(dǎo)數(shù)結(jié)果組合

我們將對(duì)數(shù)似然函數(shù)中所有關(guān)于 ${\sigma }^2$ 的項(xiàng)求導(dǎo)結(jié)果組合起來：
$$\frac{??}{?{\sigma }^2}=?\frac{n}{2{\sigma }^2}+\frac{1}{2{\sigma }^4}\sum _{i=1}^n(x_i?\mu {)}^2$$

設(shè)置導(dǎo)數(shù)為 0，解出 ${\sigma }^2$

為了找到 ${\sigma }^2$ 的極大似然估計(jì)，我們將導(dǎo)數(shù)設(shè)為 0：
$$?\frac{n}{2{\sigma }^2}+\frac{1}{2{\sigma }^4}\sum _{i=1}^n(x_i?\mu {)}^2=0$$

1. 消去常數(shù) $\frac{1}{2}$

為了簡(jiǎn)化方程，兩邊同時(shí)乘以 2 消去常數(shù)：
$$?\frac{n}{{\sigma }^2}+\frac{1}{{\sigma }^4}\sum _{i=1}^n(x_i?\mu {)}^2=0$$

2. 將 $\frac{n}{{\sigma }^2}$ 移到右邊

將方程重排：
$$\frac{1}{{\sigma }^4}\sum _{i=1}^n(x_i?\mu {)}^2=\frac{n}{{\sigma }^2}$$

3. 乘以 ${\sigma }^4$

為了消去 ${\sigma }^4$，我們將方程兩邊乘以 ${\sigma }^4$：
$$\sum _{i=1}^n(x_i?\mu {)}^2=n{\sigma }^2$$

4. 解出 ${\sigma }^2$

將 ${\sigma }^2$ 留在一邊，解出：
$${\sigma }^2=\frac{1}{n}\sum _{i=1}^n(x_i?\mu {)}^2$$

這個(gè)結(jié)果就是 ${\sigma }^2$ 的極大似然估計(jì)，即樣本方差公式。

---

總結(jié)

我們通過對(duì)正態(tài)分布的對(duì)數(shù)似然函數(shù)分別對(duì) $\mu$ 和 ${\sigma }^2$ 求導(dǎo)，得到以下結(jié)論：

1. 均值 $\mu$ 的極大似然估計(jì)：
   $$\hat{\mu }=\frac{1}{n}\sum _{i=1}^n{x}_i$$
   即樣本的均值是 $\mu$ 的極大似然估計(jì)。

2. 方差 ${\sigma }^2$ 的極大似然估計(jì)：
   $${\hat{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n(x_i?\hat{\mu }{)}^2$$
   即樣本方差是 ${\sigma }^2$ 的極大似然估計(jì)。