1. 一個神經(jīng)元的結(jié)構(gòu)：即接受多個輸入X向量，在一個權(quán)重向量W和一個偏執(zhí)標量b的作用下，經(jīng)過激活函數(shù)后，產(chǎn)生一個輸出。

2. 一層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)：該層網(wǎng)絡(luò)里的每個神經(jīng)元并行計算，得到各自的輸出;計算方式是輸入向量X，在權(quán)重矩陣W和偏置向量B的作用下，經(jīng)過激活函數(shù)，產(chǎn)生n個輸出（輸出是一個向量）

3. 多次神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)：由輸入層，隱層，輸出層組成，每一層的輸出結(jié)構(gòu)是由上一層的線性變換和激活函數(shù)得到。

4. 為什么要引入激活函數(shù)？因為如果不引入激活函數(shù)，多層神經(jīng)網(wǎng)絡(luò)會塌縮成一層神經(jīng)網(wǎng)絡(luò)，如下圖示意，神經(jīng)網(wǎng)絡(luò)每層都是線性變換，最終多層網(wǎng)絡(luò)的結(jié)果只相當于一層網(wǎng)絡(luò)。

? ? ?

5. 激活函數(shù)有哪些？

6. 輸出層：分為線性輸出層（用于回歸問題，預(yù)測連續(xù)的值）；以及Sigmoid輸出層（用于二分類問題，預(yù)測輸入屬于某個類的概率）；和Softmax輸出層（用于多分類問題，預(yù)測輸入屬于某個類的概率，有多少個分類就有多少個輸出）