用了驗(yàn)證集還有可能會過擬合

這個片段可以從理論上證明這一點(diǎn)

以上整個挑選模型的過程也可以想象為一種訓(xùn)練。

把三個模型導(dǎo)出的最小損失公式看成一個集合，現(xiàn)在要做的就是在這個集合中找到某個h（此處可以視為訓(xùn)練），使得在驗(yàn)證集上的損失最低

當(dāng)抽到不好的訓(xùn)練數(shù)據(jù)時，理想和現(xiàn)實(shí)會有差距。

訓(xùn)練數(shù)據(jù)不好的原因：

• 訓(xùn)練資料的大小
• 模型的復(fù)雜程度（越復(fù)雜，結(jié)果越糟的可能性越大）

當(dāng)拿到的驗(yàn)證集不好時，理想和現(xiàn)實(shí)會有差距。

拿到的驗(yàn)證集不好的原因：

• 驗(yàn)證集的大小
• 這個模型的復(fù)雜程度（一般不會太大，比如說這里只有3個，取決于如何設(shè)計實(shí)驗(yàn)）