這里的相關(guān)概念都是基于已有預(yù)訓(xùn)練模型，就是模型本身已經(jīng)訓(xùn)練好，有一定泛化能力。需要“再加工”滿足別的任務(wù)需求。

進(jìn)入后GPT時(shí)代，對(duì)模型的Fine-tuning也將成為趨勢(shì)，借此機(jī)會(huì)，我來(lái)科普下相關(guān)概念。

1.Fine-tuning (微調(diào))

有些人認(rèn)為微調(diào)和訓(xùn)練沒(méi)有區(qū)別，都是訓(xùn)練模型，但是微調(diào)是在原模型訓(xùn)練好的的基礎(chǔ)上，做針對(duì)性的再訓(xùn)練。微調(diào)一般用額外的數(shù)據(jù)集，降低學(xué)習(xí)率讓模型適應(yīng)特定任務(wù)。

2.Transfer Learning (遷移學(xué)習(xí))

遷移學(xué)習(xí)大意是讓模型適應(yīng)新的任務(wù)，這涉及模型的改進(jìn)和再訓(xùn)練?？梢园盐⒄{(diào)看作是遷移學(xué)習(xí)的一種。

相比微調(diào)，遷移學(xué)習(xí)很多時(shí)候并不需要訓(xùn)練原有模型，可以只訓(xùn)練一部分，或者給模型加1-2層后，用元模型的輸出作為遷移學(xué)習(xí)的輸入，訓(xùn)練額外添加部分即可。

3.Knowledge Distillation (知識(shí)蒸餾)

KD目標(biāo)是用一個(gè)小模型去學(xué)習(xí)大模型的能力，在保證基線性能的前提下，降低模型的參數(shù)和復(fù)雜度。

4.Meta Learning (元學(xué)習(xí))

Learning to Learning，就是學(xué)會(huì)學(xué)習(xí)，這個(gè)概念并不需要預(yù)訓(xùn)練模型。元學(xué)習(xí)是指模型學(xué)習(xí)各類(lèi)任務(wù)數(shù)據(jù)，然后學(xué)會(huì)各類(lèi)任務(wù)的共性，從而適應(yīng)新的任務(wù)。