HuggingFace

• 鏡像網(wǎng)站
• 模型庫

HuggingFace中bert實(shí)現(xiàn)

• 下游任務(wù)介紹
• 重要源碼解讀

NLP中的自回歸模型和自編碼模型

• 自回歸：根據(jù)上文內(nèi)容預(yù)測下一個可能的單詞，或者根據(jù)下文預(yù)測上一個可能的單詞。只能利用上文或者下文的信息，不能同時(shí)利用上文和下文的信息。
• 自編碼：對輸入的句子隨機(jī)Mask其中的單詞，然后預(yù)訓(xùn)練過程的主要任務(wù)之一是根據(jù)上下文單詞來預(yù)測這些被Mask掉的單詞。同時(shí)根據(jù)上下文預(yù)測單詞。
• Sequence-to-Sequence：是encoder和decoder的結(jié)合。
  

安裝環(huán)境

視頻

BERT架構(gòu)

• 輸入的修改
• 預(yù)訓(xùn)練任務(wù)1
  
• 預(yù)測任務(wù)2
  
• 總結(jié)
  

李沐課程