神經(jīng)網(wǎng)絡(luò)組成

大腦是一個巨大的神經(jīng)元網(wǎng)絡(luò)，所以神經(jīng)網(wǎng)絡(luò)是一個節(jié)點(diǎn)網(wǎng)絡(luò)。根據(jù)節(jié)點(diǎn)的連接方式，可以創(chuàng)建多種神經(jīng)網(wǎng)絡(luò)。最常用的神經(jīng)網(wǎng)絡(luò)類型之一采用了如圖所示的節(jié)點(diǎn)分層結(jié)構(gòu)

• 正方形節(jié)點(diǎn)組稱為輸入層。輸入層的節(jié)點(diǎn)僅僅作為將輸入信號傳輸?shù)较乱粋€節(jié)點(diǎn)的通道。因此，他們不計(jì)算加權(quán)和和激活函數(shù)。這就是它們用正方形表示并與其他圓形節(jié)點(diǎn)不同的原因。
• 相比之下，最右邊的節(jié)點(diǎn)組被稱為輸出層。從這些節(jié)點(diǎn)得到的輸出成為神經(jīng)網(wǎng)絡(luò)的最終結(jié)果。
• 位于輸入層和輸出層之間的圖層被稱為隱藏層。它們被賦予這個名字是因?yàn)樗鼈儾荒軓纳窠?jīng)網(wǎng)絡(luò)的外部訪問

神經(jīng)網(wǎng)絡(luò)根據(jù)結(jié)構(gòu)分類

• 神經(jīng)網(wǎng)絡(luò)已經(jīng)從一個簡單的結(jié)構(gòu)發(fā)展到一個越來越復(fù)雜的結(jié)構(gòu)。最初，神經(jīng)網(wǎng)絡(luò)的先驅(qū)們有一個非常簡單的體系結(jié)構(gòu)，只有輸入層和輸出層，這被稱為 單層神經(jīng)網(wǎng)絡(luò)。
• 當(dāng)隱藏層添加到單層神經(jīng)網(wǎng)絡(luò)時，就產(chǎn)生多層神經(jīng)網(wǎng)絡(luò)。因此，多層神經(jīng)網(wǎng)絡(luò)由輸入層、隱層和輸出層組成。
• 具有單一隱藏層的神經(jīng)網(wǎng)絡(luò)被稱為淺層神經(jīng)網(wǎng)絡(luò)或普通神經(jīng)網(wǎng)絡(luò)。
• 一個包含兩個或兩個以上隱藏層的多層神經(jīng)網(wǎng)絡(luò)被稱為深度神經(jīng)網(wǎng)絡(luò)。

當(dāng)代在實(shí)際應(yīng)用中使用的神經(jīng)網(wǎng)絡(luò)大多是深度神經(jīng)網(wǎng)絡(luò)。下表總結(jié)了神經(jīng)網(wǎng)絡(luò)根據(jù)層結(jié)構(gòu)不同的分支

神經(jīng)網(wǎng)絡(luò)的信號傳遞

在分層神經(jīng)網(wǎng)絡(luò)中，信號進(jìn)入輸入層，通過隱藏層，然后通過輸出層離開。在這個過程中，信號一層地推進(jìn)。換句話說，一層上的節(jié)點(diǎn)同時接收信號，并同時將處理后的信號發(fā)送到下一層。讓我們遵循一個簡單的示例，看看輸入數(shù)據(jù)在通過圖層時是如何處理的
考慮具有單個隱藏層的神經(jīng)網(wǎng)絡(luò)

假設(shè)每個節(jié)點(diǎn)的激活函數(shù)為一個線性函數(shù)，如圖所示。這個函數(shù)允許節(jié)點(diǎn)本身發(fā)送加權(quán)和

現(xiàn)在，我們將計(jì)算來自隱藏層的輸出

對于上面第一個結(jié)點(diǎn)：

對于下面那個：

那么這個計(jì)算過程就可以用矩陣表示：

那么就是一個表達(dá)式:

那么對于右邊的輸出層的結(jié)點(diǎn)，計(jì)算過程是一樣的：

那么總的一個輸出，是可以結(jié)合成一個矩陣，也就是一個含一個隱藏層的神經(jīng)網(wǎng)絡(luò) 可以看成一個簡單神經(jīng)網(wǎng)絡(luò)