多層感知機(jī) (Multilayer Perceptron, MLP)

通俗易懂算法

多層感知機(jī)（Multilayer Perceptron，MLP）是一種前饋人工神經(jīng)網(wǎng)絡(luò)。它的主要特點(diǎn)是由多層神經(jīng)元（或節(jié)點(diǎn)）組成，包括至少一個(gè)隱藏層。MLP 是監(jiān)督學(xué)習(xí)的模型，常用于分類和回歸問(wèn)題。

組成部分

1. 輸入層（Input Layer）：接收輸入數(shù)據(jù)的特征。例如，如果我們有一個(gè)特征向量 $\mathbf{x}=[x_1,x_2,\dots ,x_n]$，那么輸入層就有 $n$ 個(gè)節(jié)點(diǎn)。

2. 隱藏層（Hidden Layer）：包含一個(gè)或多個(gè)層的神經(jīng)元，每個(gè)神經(jīng)元執(zhí)行某種計(jì)算。隱藏層的每個(gè)神經(jīng)元都接收來(lái)自前一層的輸出，加權(quán)求和后應(yīng)用一個(gè)非線性激活函數(shù)，這使得網(wǎng)絡(luò)能夠?qū)W習(xí)復(fù)雜的模式。

3. 輸出層（Output Layer）：生成最終預(yù)測(cè)結(jié)果。如果是分類問(wèn)題，例如二分類，通常使用 sigmoid 激活函數(shù)；對(duì)于多分類問(wèn)題，則使用 softmax 激活函數(shù)。

前向傳播（Forward Propagation）

前向傳播是 MLP 中的核心步驟，在這一過(guò)程中每一層的神經(jīng)元接收輸入并計(jì)算輸出。對(duì)于隱藏層的某個(gè)神經(jīng)元 $j$，其輸入為來(lái)自前一層的輸出向量 ${\mathbf{h}}^{(l?1)}$，其輸出為：

$$z_j^{(l)}=\sum _i{w}_{ji}^{(l)}{h}_i^{(l?1)}+b_j^{(l)}$$

其中：

• $w_{ji}^{(l)}$ 是第 $l$ 層中連接第 $i$ 個(gè)神經(jīng)元到本層第 $j$ 個(gè)神經(jīng)元的權(quán)重。
• $b_j^{(l)}$ 是本層第 $j$ 個(gè)節(jié)點(diǎn)的偏置。
• $h_i^{(l?1)}$ 是前一層第 $i$ 個(gè)節(jié)點(diǎn)的輸出。

隱藏神經(jīng)元的輸出通過(guò)激活函數(shù)計(jì)算，如 sigmoid，ReLU 等：

$$h_j^{(l)}=?(z_j^{(l)})$$

其中 $?$ 是激活函數(shù)，例如：

• Sigmoid: $?(z)=\frac{1}{1+e^{?z}}$
• ReLU: $?(z)=\max (0,z)$

反向傳播（Backpropagation）

MLP 使用反向傳播算法來(lái)優(yōu)化模型參數(shù)（權(quán)重和偏置）。反向傳播通過(guò)計(jì)算損失函數(shù)的梯度來(lái)更新參數(shù)，使得模型在給定數(shù)據(jù)上的預(yù)測(cè)誤差最小化。

常用的損失函數(shù)有：

• 對(duì)于回歸問(wèn)題：均方誤差（Mean Squared Error, MSE）。
• 對(duì)于分類問(wèn)題：交叉熵（Cross-Entropy Loss）。

權(quán)重的更新使用梯度下降算法：
$$w_{ji}^{(l)}:=w_{ji}^{(l)}?\eta \frac{?\mathcal{L}}{?w_{ji}^{(l)}}$$

其中 $\eta$ 是學(xué)習(xí)率，$\mathcal{L}$ 是損失函數(shù)。

通過(guò)以上過(guò)程，MLP 學(xué)習(xí)到如何從輸入數(shù)據(jù)預(yù)測(cè)輸出，適用于各種復(fù)雜的學(xué)習(xí)問(wèn)題。MLP 常被用作深度學(xué)習(xí)的基礎(chǔ)模型，提供了理解神經(jīng)網(wǎng)絡(luò)的一個(gè)重要方式。

底層原理

多層感知機(jī)（MLP）是一種前饋神經(jīng)網(wǎng)絡(luò)，是最簡(jiǎn)單的人工神經(jīng)網(wǎng)絡(luò)，已經(jīng)被廣泛用于分類和回歸問(wèn)題。多層感知機(jī)由多個(gè)層組成，主要包括輸入層、一個(gè)或多個(gè)隱藏層和輸出層。

基本組成部分

1. 輸入層（Input Layer）: 接受外部輸入的特征向量，設(shè)輸入特征向量為 $\mathbf{x}=[x_1,x_2,\dots ,x_n]$。

2. 權(quán)重（Weights）和偏置（Biases）: 每條連接都有一個(gè)權(quán)重 $w_{ij}$，每個(gè)神經(jīng)元還有一個(gè)偏置 $b_i$。

3. 激活函數(shù)（Activation Function）: 每個(gè)隱藏層和輸出層的神經(jīng)元（即感知器）在計(jì)算加權(quán)和之后，都會(huì)通過(guò)一個(gè)非線性激活函數(shù) $g(?)$。

4. 隱藏層（Hidden Layer）: 對(duì)輸入數(shù)據(jù)進(jìn)行特征變換，通過(guò)加權(quán)和計(jì)算和激活函數(shù)應(yīng)用獲得輸出。

5. 輸出層（Output Layer）: 最后一層輸出用于生成最終預(yù)測(cè)結(jié)果。

數(shù)學(xué)原理

多層感知機(jī)的基本計(jì)算過(guò)程如下：

前向傳播（Forward Propagation）

給定輸入 $\mathbf{x}$:

1. 隱藏層計(jì)算：對(duì)于每一個(gè)隱藏層神經(jīng)元 $j$，計(jì)算其輸入作為上一層輸出的一個(gè)加權(quán)和：

   $$z_j^{(l)}=\sum _i{w}_{ij}^{(l?1)}{a}_i^{(l?1)}+b_j^{(l)}$$

   其中 $l$ 表示層數(shù)，$a_i^{(l?1)}$ 為第 $l?1$ 層的第 $i$ 個(gè)神經(jīng)元的輸出。

2. 激活：應(yīng)用激活函數(shù)獲得輸出：

   $$a_j^{(l)}=g(z_j^{(l)})$$

   常用的激活函數(shù)包括Sigmoid、ReLU、Tanh等。

3. 輸出層計(jì)算：對(duì)于輸出層的每個(gè)神經(jīng)元，重復(fù)上述計(jì)算過(guò)程：

   $$z_k^{(L)}=\sum _j{w}_{jk}^{(L?1)}{a}_j^{(L?1)}+b_k^{(L)}$$

   輸出層的激活函數(shù)常選擇線性變換（用于回歸）或者softmax（用于分類）。

損失函數(shù)（Loss Function）

常用的損失函數(shù)包括均方誤差（MSE）和交叉熵?fù)p失。例如，對(duì)于分類問(wèn)題，用交叉熵?fù)p失：

$$\mathcal{L}=?\sum _k{y}_k\log ({\hat{y}}_k)$$

其中 $y_k$ 是真實(shí)標(biāo)簽，${\hat{y}}_k$ 是預(yù)測(cè)概率。

反向傳播（Backpropagation）

通過(guò)鏈?zhǔn)椒▌t計(jì)算損失對(duì)各層參數(shù)的梯度，并更新權(quán)重和偏置：

1. 輸出誤差: 計(jì)算輸出層的誤差 ${\delta }^{(L)}$。

2. 反向傳播誤差: 逐層向后傳播誤差：

   $${\delta }^{(l)}={\left(w^{(l)}\right)}^{?}{\delta }^{(l+1)}?g^{\prime }(z^{(l)})$$

3. 更新權(quán)重和偏置:

   $$w_{ij}^{(l)}=w_{ij}^{(l)}?\eta \frac{?\mathcal{L}}{?w_{ij}^{(l)}}$$

   $$b_j^{(l)}=b_j^{(l)}?\eta \frac{?\mathcal{L}}{?b_j^{(l)}}$$

   其中 $\eta$ 是學(xué)習(xí)率。

總結(jié)

通過(guò)將輸入逐層轉(zhuǎn)換，加權(quán)求和并非線性化，可以讓多層感知機(jī)學(xué)習(xí)到數(shù)據(jù)的復(fù)雜模式。反向傳播算法是優(yōu)化參數(shù)的核心，通過(guò)梯度下降調(diào)整權(quán)重以降低損失函數(shù)值。

常用面試考點(diǎn)

多層感知機(jī)（Multilayer Perceptron，簡(jiǎn)稱MLP）是神經(jīng)網(wǎng)絡(luò)中的一種基本結(jié)構(gòu)。它一般由一層輸入層、一個(gè)或多個(gè)隱藏層、以及一層輸出層構(gòu)成。MLP是用于分類和回歸任務(wù)的常用算法，也是許多復(fù)雜神經(jīng)網(wǎng)絡(luò)架構(gòu)的基礎(chǔ)。以下是從常用面試考點(diǎn)層面對(duì)MLP的解釋。

1. 結(jié)構(gòu)

• 輸入層：接收輸入數(shù)據(jù)，每個(gè)神經(jīng)元代表一個(gè)特征。
• 隱藏層：對(duì)輸入數(shù)據(jù)進(jìn)行非線性變換，通常使用激活函數(shù)。隱藏層可以有多個(gè)。
• 輸出層：生成最終預(yù)測(cè)結(jié)果，輸出層的形狀和激活函數(shù)取決于具體任務(wù)（如回歸或分類）。

2. 前向傳播（Forward Propagation）

在前向傳播階段，每一層的輸出是上一層的輸出經(jīng)過(guò)線性變換和非線性激活函數(shù)得到的。對(duì)于某一隱藏層$l$，其輸出可以表示為：

$$z^{(l)}=W^{(l)}{a}^{(l?1)}+b^{(l)}$$

這里，$W^{(l)}$是權(quán)重矩陣，$b^{(l)}$是偏置向量，$a^{(l?1)}$是上一層的激活輸出。

激活函數(shù)通常選用非線性函數(shù)，比如ReLU（Rectified Linear Unit）:

$$a^{(l)}=\text{ReLU}(z^{(l)})=\max (0,z^{(l)})$$

對(duì)于輸出層，激活函數(shù)應(yīng)根據(jù)具體任務(wù)選擇，例如分類任務(wù)中的softmax函數(shù)：

$$a_i^{(L)}=\frac{e^{z_i^{(L)}}}{{\sum }_j{e}^{z_j^{(L)}}}$$

3. 損失函數(shù)

MLP的目標(biāo)是最小化損失函數(shù)。對(duì)于分類問(wèn)題，常見(jiàn)的損失函數(shù)是交叉熵?fù)p失：

$$\mathcal{L}=?\sum _i{y}_i\log ({\hat{y}}_i)$$

這里，$y_i$是真實(shí)標(biāo)簽，${\hat{y}}_i$是預(yù)測(cè)概率。

4. 反向傳播（Backpropagation）

反向傳播用于計(jì)算損失函數(shù)相對(duì)于每個(gè)權(quán)重的梯度，以應(yīng)用于梯度下降算法。對(duì)于每一層$l$，我們有兩步：

• 計(jì)算輸出誤差：
  對(duì)于輸出層：

  $${\delta }^{(L)}=a^{(L)}?y$$

  對(duì)于隱藏層：

  $${\delta }^{(l)}=(W^{(l+1)}{)}^T{\delta }^{(l+1)}?f^{\prime }(z^{(l)})$$

  這里，$f^{\prime }(z^{(l)})$是激活函數(shù)的導(dǎo)數(shù)。

• 更新權(quán)重和偏置：

  使用梯度下降法更新權(quán)重和偏置：

  $$W^{(l)}=W^{(l)}?\eta ?\Delta W^{(l)}$$

  $$b^{(l)}=b^{(l)}?\eta ?\Delta b^{(l)}$$

  其中，$\Delta W^{(l)}={\delta }^{(l)}(a^{(l?1)}{)}^T$，$\Delta b^{(l)}={\delta }^{(l)}$，$\eta$是學(xué)習(xí)率。

5. 常用技巧

• 激活函數(shù)的選擇：通常選擇ReLU以及其變種（如Leaky ReLU）作為隱藏層的激活函數(shù)。
• 初始化：建議使用Xavier初始化或He初始化。
• 正則化：使用L2正則化或dropout來(lái)防止過(guò)擬合。
• 批量歸一化：可以加速訓(xùn)練和提高模型穩(wěn)定性。