誤差問題

擬合神經(jīng)網(wǎng)絡(luò)函數(shù)過程中會出現(xiàn)兩種誤差：偏差(bias)和方差(variance)

偏差和誤差的區(qū)別

欠擬合(underfitting)

當(dāng)偏差(bias)過大時，如左圖，擬合圖像存在部分不符合值，稱為欠擬合(underfitting)

過擬合(overfitting)

當(dāng)方差(variance)過大時，如右圖，擬合圖像過于特殊，不夠集中(即方差過大)，稱為過擬合(overfitting)

誤差和train/dev sets

以貓的識別為例：

當(dāng)基本誤差/最優(yōu)誤差很小時，且train/dev sets來自同一分布，則會有以下判斷：

train set error較小，dev set error過大：high variance

train set error過大，dev set error過大(與train set error差不多)：high bias

train set error過大，dev set error過大(比train set error還大很多)：high bias & high variance

train set error較小，dev set error較小：low bias & low variance

?假如基本誤差不是很小，則要考慮error與基本誤差之間的大小差距來進行恰當(dāng)?shù)呐袛?/p>

訓(xùn)練神經(jīng)網(wǎng)絡(luò)的基本方法?

?high bias

--> bigger network(更深的神經(jīng)網(wǎng)絡(luò)模型)

--> train longer(訓(xùn)練更長時間，讓模型更加成熟)

?high variance

-->more data(更大的數(shù)據(jù)量,更加具有普遍性)

-->regularization(正則化)