怎么做app和網(wǎng)站購物最好的營銷策劃公司
一、激活函數(shù)的特征
- 非線性，激活函數(shù)必須是非線性函數(shù)。
- 可微性，訓(xùn)練網(wǎng)絡(luò)模型時，基于梯度的模型最優(yōu)化方法要求激活函數(shù)必須是可導(dǎo)的。
- 單調(diào)性，單調(diào)遞增或單調(diào)遞減，單調(diào)函數(shù)保證模型的簡單。
- 隱藏層一般需要使用激活函數(shù)已引入非線性，輸入層不需要。輸出層如果是回歸問題也是不需要的，如果是多分類問題，使用softmax函數(shù)將輸出轉(zhuǎn)化為概率分布，如果是二分類問題，可以使用sigmoid函數(shù)。
二、常見的激活函數(shù)
-
sigmoid函數(shù)
sigmoid激活函數(shù)： f ( x ) = 1 1 + e ? x f(x)=\frac{1}{1+e^{-x}} f(x)=1+e?x1?，其導(dǎo)數(shù)為： f ′ ( x ) = f ( x ) ( 1 ? f ( x ) ) f'(x)=f(x)(1-f(x)) f′(x)=f(x)(1?f(x))，導(dǎo)數(shù)的取值范圍[0, 1/4]，sigmoid在使用反向傳播來訓(xùn)練神經(jīng)網(wǎng)絡(luò)時，會產(chǎn)生梯度消失的問題，另外sigmoid處理后的輸出數(shù)據(jù)是一個非負(fù)值，在反向傳播過程中會增加梯度的不穩(wěn)定性。
-
tanh函數(shù)
tanh激活函數(shù)： f ( x ) = e x ? e ? x e x + e ? x f(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}} f(x)=ex+e?xex?e?x?，其導(dǎo)數(shù)為： f ′ ( x ) = 1 ? f ( x ) 2 f'(x)=1-f(x)^2 f′(x)=1?f(x)2，導(dǎo)數(shù)的取值范圍為[0, 1]，反向傳播過程中衰減速度比sigmoid要慢，經(jīng)過tanh激活函數(shù)處理后的輸出均值約為0（這相當(dāng)于做了歸一化），所以tanh比sigmoid具有更穩(wěn)定的梯度，但是依然無法避免梯度消失的問題。
-
近似生物神經(jīng)元的激活函數(shù)
如ReLU，softplus等，還有Leaky ReLU，ELU，Softmax等。
三、常見的神經(jīng)網(wǎng)絡(luò)模型
| 神經(jīng)網(wǎng)絡(luò)類型 | 主要特點 | 典型應(yīng)用場景 |
|---|---|---|
| 前饋神經(jīng)網(wǎng)絡(luò) | 信息單向流動，無反饋循環(huán)；層級結(jié)構(gòu)清晰；常用于分類和回歸問題 | 圖像分類、文本分類、回歸預(yù)測 |
| 反饋神經(jīng)網(wǎng)絡(luò)（RNN） | 信息可以在網(wǎng)絡(luò)中循環(huán)傳播，具有記憶能力；適用于序列數(shù)據(jù) | 自然語言處理（機(jī)器翻譯、情感分析）、語音識別、時間序列預(yù)測 |
| 卷積神經(jīng)網(wǎng)絡(luò)（CNN） | 利用卷積核提取局部特征，適用于圖像、視頻等數(shù)據(jù) | 圖像分類、目標(biāo)檢測、圖像分割 |
| 循環(huán)神經(jīng)網(wǎng)絡(luò)變種（LSTM、GRU） | 改進(jìn)RNN，解決了長期依賴問題，更好地處理長序列數(shù)據(jù) | 自然語言處理、語音識別 |
| 生成對抗網(wǎng)絡(luò)（GAN） | 由生成器和判別器組成，通過對抗學(xué)習(xí)生成新的數(shù)據(jù) | 圖像生成、數(shù)據(jù)增強(qiáng) |
| 圖神經(jīng)網(wǎng)絡(luò)（GNN） | 處理圖結(jié)構(gòu)數(shù)據(jù)，適用于社交網(wǎng)絡(luò)、分子結(jié)構(gòu)等 | 社交網(wǎng)絡(luò)分析、藥物發(fā)現(xiàn) |