【論文解讀】Med-BERT: 用于疾病預(yù)測(cè)的大規(guī)模結(jié)構(gòu)化電子健康記錄的預(yù)訓(xùn)練情境化嵌入

Med-BERT：pretrained contextualized embeddings on large-scale structured electronic health records for disease prediction

?
?
摘要：基于電子健康記錄（EHR）的深度學(xué)習(xí)（DL）預(yù)測(cè)模型在許多臨床任務(wù)中都表現(xiàn)出色。然而，這些模型通常需要大型訓(xùn)練隊(duì)列來(lái)實(shí)現(xiàn)高精度，這阻礙了在訓(xùn)練數(shù)據(jù)有限的情況下采用基于DL的模型。最近，bidirectional encoder representations from transformers（BERT）和相關(guān)模型在自然語(yǔ)言處理領(lǐng)域取得了巨大的成功。在非常大的訓(xùn)練語(yǔ)料庫(kù)上對(duì)BERT進(jìn)行預(yù)訓(xùn)練會(huì)生成情境化嵌入，從而提高在較小數(shù)據(jù)集上訓(xùn)練的模型的性能。受BERT的啟發(fā)，我們提出了Med BERT