目錄

Normalization（歸一化）

1.特點(diǎn)

目的

應(yīng)用場(chǎng)景

輸出范圍

2. Sigmoid 函數(shù)

目的

應(yīng)用場(chǎng)景

輸出范圍

3. Softmax 函數(shù)

目的

應(yīng)用場(chǎng)景

輸出范圍

---

"燃盡最后的本能，意志力會(huì)帶你殺出重圍"????????

????????????????????????????????????????????????????????—— 24.12.2

Normalization（歸一化）

歸一化是將數(shù)據(jù)轉(zhuǎn)換為具有統(tǒng)一尺度的形式，通常用于數(shù)據(jù)預(yù)處理階段。常見(jiàn)的歸一化方法包括 Min-Max歸一化、Z-Score 歸一化和 L2 歸一化。

1.特點(diǎn)

目的

消除數(shù)據(jù)特征之間的量綱差異，使得不同特征對(duì)模型的影響更加均衡。

應(yīng)用場(chǎng)景

數(shù)據(jù)預(yù)處理階段，用于提高模型的訓(xùn)練效果和泛化能力。

輸出范圍

取決于具體的歸一化方法

Min-Max 歸一化：[0,1] 或 [-1,1]

Z-Score 歸一化：均值為0，標(biāo)準(zhǔn)差為1

L2 歸一化：向量的 L2 范數(shù)為 1

---

2. Sigmoid 函數(shù)

Sigmoid 函數(shù)是一種非線性激活函數(shù)，將輸入值壓縮到 (0, 1) 之間。其數(shù)學(xué)表達(dá)式為：

目的

將輸入值壓縮到(0，1)之間，適合用于二分類(lèi)問(wèn)題。

應(yīng)用場(chǎng)景

二分類(lèi)問(wèn)題中的輸出層，需要將輸出值解釋為概率

輸出范圍

(0，1)

---

3. Softmax 函數(shù)

Softmax 函數(shù)也是一種非線性激活函數(shù)，將輸入值轉(zhuǎn)換為概率分布。其數(shù)學(xué)表達(dá)式為：

其中，Xi 是輸入向量的第?i 個(gè)元素，n?是輸入向量的維度

目的

將輸入值轉(zhuǎn)換為概率分布，使得所有輸出值的和為1。

應(yīng)用場(chǎng)景

多分類(lèi)問(wèn)題中的輸出層，需要將輸出值解釋為概率分布

輸出范圍

(0,1)，且所有輸出值的和為 1