線性回歸，邏輯回歸（線性回歸+sigmoid），神經(jīng)網(wǎng)絡(luò)

linear regression? ，? logistic regression? ? ，? neutral network

里面的偏導(dǎo)的相量有幾百萬維，這就是neutral network的不同，他是計(jì)算量超級大的。

所以我們引入了一種新的訓(xùn)練方法

鏈?zhǔn)椒▌t也就代表了反饋

這里需要引入的數(shù)學(xué)知識就是鏈?zhǔn)椒▌t。

s對z的微分可以有兩個路徑。s對z的微分，這個提法還挺有意思的

現(xiàn)在是Backward pass

這里老師對權(quán)重做偏微分，得到的是輸入值

第一項(xiàng)

其實(shí)是逆著往前推