寫在前面

上篇文章我們了解到感知機(jī)使用的階躍函數(shù)和符號(hào)函數(shù)，它們都是非連續(xù)，導(dǎo)數(shù)為0的函數(shù)：

建議回顧上篇文章，本篇文章將介紹神經(jīng)網(wǎng)絡(luò)中的常見(jiàn)激活函數(shù)，這些函數(shù)都是平滑可導(dǎo)的，適合于梯度下降算法。

---

寫在中間

激活函數(shù)是做什么的？

---

激活函數(shù)（Activation Function）是神經(jīng)網(wǎng)絡(luò)中的一個(gè)重要組成部分，主要用于將神經(jīng)元的輸入信息進(jìn)行非線性變換，從而引入非線性特性。

為什么要使用激活函數(shù)？

---

如果不用激活函數(shù)，每一層輸出都是上層輸入的線性函數(shù)，無(wú)論神經(jīng)網(wǎng)絡(luò)有多少層，輸出都是線性組合，這種情況就是最原始的感知機(jī)。將來(lái)歸納出的方程就如圖a所示，要實(shí)現(xiàn)圖b的效果就只能將線性模型嵌套非線性函數(shù)轉(zhuǎn)換為非線性函數(shù)。

我們把這個(gè)非線性函數(shù)稱為激活函數(shù)(Activation Function)，用𝜎表示：

$o=\sigma (Wx+b)$

這里的𝜎代表了某個(gè)具體的非線性激活函數(shù)，如 Sigmoid 函數(shù)、ReLU 函數(shù)

表達(dá)能力

---

模型的表達(dá)能力偏弱，就可以通過(guò)堆疊多次變換來(lái)增加其表達(dá)能力

把第一層神經(jīng)元的輸出值 $h_1$作為第二層神經(jīng)元模型的輸入，把第二層神經(jīng)元的輸出$h_2$作為第三層神經(jīng)元的輸入，最后一層神經(jīng)元的輸出作為模型的輸出，使用ReLU激活函數(shù)舉例

$h_1=ReLU(W{x}_1+b_1)$
$h_2=ReLU(W_2{h}_1+b_2)$
$o=W_3{h}_2+b_3$

---

激活函數(shù)介紹

一、Sigmoid

（ 1 ）簡(jiǎn)單介紹

此函數(shù)的定義如下

$\mathrm{Sigmoid}(x)?\frac{1}{1+{\mathrm{e}}^{?x}}$

在深度學(xué)習(xí)中的優(yōu)點(diǎn)如下：

• 它的值域?yàn)?0, 1)，能夠把𝑥 ∈ 𝑅的輸入“壓縮”到𝑥 ∈ (0,1)區(qū)間，和概率的分布范圍[0,1]契合，可以通過(guò) Sigmoid 函數(shù)將輸出轉(zhuǎn)譯為概率輸出

• Sigmoid 函數(shù)連續(xù)可導(dǎo)，可以直接利用梯度下降算法優(yōu)化網(wǎng)絡(luò)參數(shù)

---

（ 2 ）簡(jiǎn)單實(shí)現(xiàn)

如何在TensorFlow中使用這個(gè)函數(shù)呢,其實(shí)一行代碼就可以搞定了

tf.nn.sigmoid(x) # 通過(guò) Sigmoid 函數(shù)

---

二、ReLU

（ 1 ）簡(jiǎn)單介紹

在 ReLU激活函數(shù)提出之前，Sigmoid 函數(shù)通常是神經(jīng)網(wǎng)絡(luò)的激活函數(shù)首選。但是 Sigmoid 函數(shù)在輸入值較大或較小時(shí)容易出現(xiàn)梯度值接近于 0 的現(xiàn)象，網(wǎng)絡(luò)參數(shù)長(zhǎng)時(shí)間得不到更新，導(dǎo)致訓(xùn)練不收斂或停滯不動(dòng)的現(xiàn)象發(fā)生。

此函數(shù)的定義如下：

$\mathrm{ReLU}(x)?\max (0,x)$

可以看到，ReLU 對(duì)小于 0 的值全部抑制為 0；對(duì)于正數(shù)則直接輸出

---

（ 2 ）函數(shù)實(shí)現(xiàn)

函數(shù)的調(diào)用同樣簡(jiǎn)單

tf.nn.relu(x)

---

三、LeakyReLU

（ 1 ）簡(jiǎn)單介紹

ReLU 函數(shù)在𝑥 < 0時(shí)導(dǎo)數(shù)值恒為 0，也可能會(huì)造成梯度彌散現(xiàn)象，為了克服這個(gè)問(wèn)題，LeakyReLU 函數(shù)被提出，此函數(shù)的定義為：

$\text{LeakyReLU}?\{\begin{array}{cc}x& x\ge 0\\ px& x<0\end{array}$

其中𝑝為用戶自行設(shè)置的某較小數(shù)值的超參數(shù)，如 0.02 等。當(dāng)𝑝 = 0時(shí)，LeayReLU 函數(shù)退化為ReLU 函數(shù)；當(dāng)𝑝 ≠ 0時(shí)，𝑥 < 0處能夠獲得較小的導(dǎo)數(shù)值𝑝，從而避免出現(xiàn)梯度彌散現(xiàn)象。

（ 2 ）函數(shù)實(shí)現(xiàn)

tf.nn.leaky_relu(x, alpha=0.02) 

---

四、Tanh

（ 1 ）簡(jiǎn)單介紹

Tanh 函數(shù)能夠?qū)?#x1d465; ∈ 𝑅的輸入“壓縮”到(?1,1)區(qū)間，其函數(shù)的定義為

$\begin{array}{rl}\tanh (x)& =\frac{({\mathrm{e}}^x?{\mathrm{e}}^{?x})}{({\mathrm{e}}^x+{\mathrm{e}}^{?x})}=2?\mathrm{sigmoid}(2x)?1\end{array}$

---

（ 2 ）代碼實(shí)現(xiàn)

tf.nn.tanh(x) 

---

激活函數(shù)輸出范圍

了解了上面的函數(shù)之后，不知你是否有這樣的疑問(wèn)，這么多種函數(shù)，在進(jìn)行網(wǎng)絡(luò)構(gòu)建的時(shí)候究竟如何選擇？

其實(shí)這其中還是有些門道的，主要根據(jù)數(shù)據(jù)的范圍和構(gòu)建網(wǎng)絡(luò)的目的來(lái)選擇，具體情況還要結(jié)合實(shí)際問(wèn)題試驗(yàn)：

例如：

• 輸出區(qū)間為[0, 1]，在網(wǎng)絡(luò)模型主要進(jìn)行二分類（貓狗識(shí)別分類）、圖片生成（像素歸一化），就可以使用類似Sigmoid()一類的函數(shù)。

• 輸出區(qū)間為[0, 1]，且所有數(shù)據(jù)的概率和為1，網(wǎng)絡(luò)模型主要進(jìn)行多分類問(wèn)題(mnist手寫數(shù)字識(shí)別)，就可以使用類似Softmax()一類的函數(shù)。

• 輸出區(qū)間為[-1, 1]，就可以使用Tanh() 函數(shù)。

• 輸出區(qū)間在某個(gè)段內(nèi)，網(wǎng)絡(luò)模型進(jìn)行年齡預(yù)測(cè)、股票走勢(shì)的預(yù)測(cè)，更傾向于回歸問(wèn)題,ReLU函數(shù)可能效果較好。

---

寫在最后

👍🏻點(diǎn)贊，你的認(rèn)可是我創(chuàng)作的動(dòng)力！
?收藏，你的青睞是我努力的方向！
??評(píng)論，你的意見(jiàn)是我進(jìn)步的財(cái)富！