我是娜姐?@迪娜學(xué)姐?，一個(gè)SCI醫(yī)學(xué)期刊編輯，探索用AI工具提效論文寫作和發(fā)表。

? ? ? ???

相比其他學(xué)科，醫(yī)學(xué)+AI，是發(fā)表學(xué)術(shù)成果最多的領(lǐng)域。

醫(yī)學(xué)數(shù)據(jù)的多樣性和復(fù)雜性（包括文本、圖像、基因組數(shù)據(jù)等），使得傳統(tǒng)的數(shù)據(jù)分析方法難以全面整合和解析。

而大語言模型，特別是多模態(tài)模型，可以綜合分析不同類型的數(shù)據(jù)，建立跨模態(tài)關(guān)聯(lián)，提供從文本到影像的深度理解。? ? ? ?

這篇文章，娜姐用主題檢索的方式，總結(jié)了近一年來，醫(yī)學(xué)領(lǐng)域大模型的研究進(jìn)展。主要分為輔助診斷、藥物研發(fā)、基因組學(xué)、醫(yī)患溝通等方面。

圖1 生物醫(yī)學(xué)領(lǐng)域LLMs的發(fā)展概覽。從左到右，展示了單模態(tài)（綠色部分）和多模態(tài)（粉色部分）模型隨時(shí)間的研究進(jìn)展【1】。

一、LLM在醫(yī)學(xué)細(xì)分領(lǐng)域的研究進(jìn)展：

1 醫(yī)學(xué)影像輔助診斷：
?

哈佛大學(xué)生物醫(yī)學(xué)信息學(xué)助理教授余坤興2024年9月發(fā)表在Nature上的成果【2】，他們團(tuán)隊(duì)開發(fā)了一款臨床組織病理學(xué)成像評(píng)估基礎(chǔ)模型（CHIEF，Clinical Histopathology Imaging Evaluation Foundation）。該CHIEF模型能夠?qū)υ从诜?、乳腺、前列腺、結(jié)直腸、胃、食道、腎、腦、肝、甲狀腺、胰腺、宮頸、子宮、卵巢、睪丸、皮膚、軟組織、腎上腺和膀胱等組織的19 種癌癥進(jìn)行診斷，檢測(cè)準(zhǔn)確率接近 94%。

? ? ? ? ??

團(tuán)隊(duì)正在與業(yè)界合作，希望將 CHIEF 模型發(fā)展為臨床輔助診斷工具，并在準(zhǔn)備 FDA 的相關(guān)審批工作。?? ?

? ? ? ? ??

圖2 CHIEF 模型概述（來源：Nature，【2】）

美國(guó)商業(yè)公司Paige研發(fā)的病理學(xué)基礎(chǔ)模型Virchow，能夠?qū)崿F(xiàn)泛癌癥檢測(cè)，在九種常見癌癥和七種罕見癌癥中，樣本級(jí)接收者操作特征曲線下面積達(dá)到 0.95。此外，在訓(xùn)練數(shù)據(jù)較少的情況下，Virchow也能夠?qū)崿F(xiàn)與生產(chǎn)中的組織特異性臨床級(jí)模型相似的性能，并在某些罕見癌癥變種上超越它們【3】。

哈佛大學(xué)醫(yī)學(xué)院研究團(tuán)隊(duì)近期開發(fā)了一個(gè)用于人類病理學(xué)切片鑒定的視覺語言通用 AI 助手——PathChat。該系統(tǒng)通過自我監(jiān)督學(xué)習(xí)對(duì)來自 100 萬多張切片的圖像片段進(jìn)行預(yù)訓(xùn)練，能夠從活檢切片中正確識(shí)別疾病，準(zhǔn)確率近 90%，超越GPT-4V。?? ?

圖3 PathChat 的訓(xùn)練和構(gòu)建過程。（來源：Nature，【4】）

? ? ? ? ??

SkinGPT-4，是一個(gè)基于多模態(tài)大型語言模型的互動(dòng)皮膚病診斷系統(tǒng)?；贚lama-2-13b-chat大型語言模型，通過52,929 張病理圖像及臨床概念進(jìn)行訓(xùn)練。用戶可以上傳自己的皮膚照片進(jìn)行診斷。系統(tǒng)自主評(píng)估圖像，識(shí)別皮膚狀況的特征和類別，進(jìn)行深入分析，并提供互動(dòng)治療建議【5】。

圖4 SkinGPT-4 是一個(gè)基于多模態(tài)大型語言模型的互動(dòng)皮膚病診斷系統(tǒng)。（來源：Nature Communications，【5】）?? ?

? ? ? ? ??

中山大學(xué)附屬第一醫(yī)院針對(duì)甲狀腺結(jié)節(jié)影像及病理評(píng)估的一項(xiàng)實(shí)驗(yàn)表明，725 名患者中的 1161 幅甲狀腺結(jié)節(jié)的影像診斷對(duì)比，ChatGPT 4.0 和 Bard 顯示出顯著到幾乎完美的內(nèi)部一致性，與兩名高級(jí)影像師和一名初級(jí)影像師的人機(jī)交互策略相當(dāng)，并超過了僅有一名初級(jí)影像師的人機(jī)交互策略【6】。

? ? ? ? ??

中國(guó)學(xué)者開發(fā)的肺塵病診斷大模型PneumoLLM，開辟了針對(duì)數(shù)據(jù)稀缺的職業(yè)病應(yīng)用LLMs的新范式，通過廣泛的實(shí)驗(yàn)展示了大模型在診斷塵肺病方面的優(yōu)越性【7】。

? ? ? ? ??

? ? ? ? ??

2 藥物開發(fā)

浙江大學(xué)人工智能醫(yī)學(xué)創(chuàng)新研究院開發(fā)了LEDAP模型，利用了基于LLM的生物文本特征編碼來預(yù)測(cè)藥物-疾病關(guān)聯(lián)、藥物-藥物相互作用和藥物-副作用關(guān)聯(lián)。LEDAP 在與其他流行的 DBA 分析工具相比時(shí)展示了其顯著的競(jìng)爭(zhēng)力【8】。?

? ? ? ? ??

哈佛醫(yī)學(xué)院研究人員開發(fā)的TxGNN 模型，在涵蓋 17,080 種疾病的疾病機(jī)制和 7,957 種藥物的作用機(jī)制的醫(yī)學(xué)知識(shí)圖譜上進(jìn)行訓(xùn)練，旨在解決現(xiàn)有藥物的新應(yīng)用，為治療選擇有限且分子數(shù)據(jù)稀缺的疾病識(shí)別候選藥物【9】。

? ? ? ? ???? ?

圖5 TxGNN：該幾何深度學(xué)習(xí)模型結(jié)合了一個(gè)龐大而全面的生物知識(shí)圖譜，以準(zhǔn)確預(yù)測(cè)任何給定疾病-藥物對(duì)的適應(yīng)癥或禁忌癥的可能性，適用于老藥新用途的開發(fā)。（來源：Nature Medicine【9】）? ??

? ? ? ? ??

中國(guó)科學(xué)技術(shù)大學(xué)聯(lián)合微軟研究院，開發(fā)了?TamGen--一種采用類似 GPT 的化學(xué)語言模型的方法，能夠?qū)崿F(xiàn)靶向感知的分子生成和化合物精煉。將 TamGen 集成到藥物發(fā)現(xiàn)流程中，并識(shí)別出 14 種對(duì)結(jié)核病 ClpP 蛋白酶表現(xiàn)出顯著抑制活性的化合物，其中最有效的化合物的半最大抑制濃度（IC50）為 1.9 μM【10】。

? ? ? ? ??

理解化學(xué)干擾的轉(zhuǎn)錄響應(yīng)對(duì)于藥物發(fā)現(xiàn)至關(guān)重要。中科院計(jì)算技術(shù)研究所聯(lián)合合作者，開發(fā)了PRnet深度生成模型，能夠預(yù)測(cè)從未在大規(guī)模和單細(xì)胞水平上進(jìn)行實(shí)驗(yàn)干擾的新化學(xué)擾動(dòng)的轉(zhuǎn)錄響應(yīng)（transcriptional response）。PRnet 使基因水平的響應(yīng)解釋和基于基因特征的計(jì)算藥物篩選成為可能。PRnet 生成了一個(gè)大規(guī)模的擾動(dòng)特征整合圖譜，涵蓋 88 個(gè)細(xì)胞系、52 種組織和各種化合物庫。并成功推薦了 233 種疾病的藥物候選者【11】。?? ?

? ? ? ? ??

化療和靶向治療中，藥物耐藥性是一個(gè)關(guān)鍵挑戰(zhàn)。佛羅里達(dá)大學(xué)團(tuán)隊(duì)提出的DrugFormer 模型，整合了序列化基因標(biāo)記和基于基因的知識(shí)圖譜，以高精度預(yù)測(cè)單細(xì)胞水平的藥物耐藥性。來自不同癌癥類型的全面單細(xì)胞數(shù)據(jù)分析突顯了 DrugFormer 在識(shí)別耐藥細(xì)胞和揭示潛在分子機(jī)制方面的有效性【12】。

圖6 DrugFormer 模型的整體框架。（圖源：Advanced science）

? ? ? ? ??

3 基因組學(xué)?? ?

? ? ? ? ??

布朗大學(xué)團(tuán)隊(duì)開發(fā)了多模態(tài)深度學(xué)習(xí)模型 EPBDxDNABERT-2。使用包含 690 個(gè) ChIP-seq 實(shí)驗(yàn)結(jié)果的染色質(zhì)免疫沉淀測(cè)序（ChIP-Seq）數(shù)據(jù)進(jìn)行訓(xùn)練，?EPBDxDNABERT-2 顯著提高了 660 多個(gè) TF-DNA 的預(yù)測(cè)，揭示了在全基因組關(guān)聯(lián)研究中發(fā)現(xiàn)的與疾病相關(guān)的非編碼變異的機(jī)制【13】。

圖7 EPBDxDNABERT-2的構(gòu)建過程。

? ? ? ? ??

受大型語言模型的啟發(fā)，北京理工大學(xué)邵斌等開發(fā)了一種用于基因組的長(zhǎng)上下文生成模型megaDNA。模型的基礎(chǔ)能力，包括預(yù)測(cè)必需基因、遺傳變異效應(yīng)、調(diào)控元件活性以及未注釋序列的分類。此外，它能夠生成長(zhǎng)度達(dá)到 96 K 堿基對(duì)的 de novo 序列，這些序列包含潛在的調(diào)控元件和具有噬菌體相關(guān)功能的注釋蛋白【14】。該生成基因組模型代表了全功能基因組從零開始設(shè)計(jì)的第一步。

? ? ? ? ??

Memorial Sloan Kettering癌癥中心報(bào)告了一種基于遺傳，而非組織病理學(xué)數(shù)據(jù)訓(xùn)練的人工智能算法的構(gòu)建，該算法能夠準(zhǔn)確分類浸潤(rùn)性乳腺癌（ILCs）并揭示 CDH1 失活機(jī)制，為開發(fā)應(yīng)用于全切片圖像的診斷人工智能模型提供了正交真實(shí)數(shù)據(jù)利用的基礎(chǔ)。揭示了與強(qiáng)基因型-表型相關(guān)性相關(guān)的遺傳改變可用于開發(fā)應(yīng)用于病理學(xué)的人工智能系統(tǒng)，從而促進(jìn)癌癥診斷和生物學(xué)發(fā)現(xiàn)【15】。? ??

? ? ? ? ??

肽在許多生物活動(dòng)中發(fā)揮著關(guān)鍵作用，是藥物設(shè)計(jì)中有前景的候選者。然而，準(zhǔn)確預(yù)測(cè)蛋白質(zhì)-肽結(jié)合親和力仍是一項(xiàng)挑戰(zhàn)。針對(duì)這一問題，北京工業(yè)大學(xué)團(tuán)隊(duì)開發(fā)了一種基于卷積神經(jīng)網(wǎng)絡(luò)和多頭注意力的預(yù)測(cè)模型 PepPAP，該模型僅依賴于序列特征。PepPAP可用于廣泛基因組蛋白-肽結(jié)合親和力預(yù)測(cè)，并有潛力為基于肽的藥物設(shè)計(jì)提供有價(jià)值的見解【16】。

? ? ? ? ??

4 其他
?

對(duì)于肌萎縮側(cè)索硬化癥（ALS）患者來說，眼動(dòng)追蹤技術(shù)使用戶能夠利用鍵盤，輸入文本以進(jìn)行語音輸出和電子消息傳遞。但是效率仍遠(yuǎn)低于語言交流。谷歌及合作者團(tuán)隊(duì)利用微調(diào)的LLMs和對(duì)話上下文，開發(fā)了一種名為?SpeakFaster 的文本輸入用戶界面，將高度縮寫的英語文本擴(kuò)展為所需的完整短語，具有非常高的準(zhǔn)確性。與傳統(tǒng)基線相比，文本輸入速度顯著提高（29-60%）并節(jié)省了運(yùn)動(dòng)動(dòng)作【17】。

? ? ? ? ???? ?

圖8 SpeakFaster 用戶界面。（來源：Nature Communications 【17】）

? ? ? ? ??

? ? ? ? ??

醫(yī)患溝通

2024年7月，中國(guó)醫(yī)學(xué)科學(xué)院基礎(chǔ)醫(yī)學(xué)研究所龍爾平團(tuán)隊(duì)與耶魯大學(xué)陳慶宇合作，基于35418例真實(shí)導(dǎo)診對(duì)話信息形成的知識(shí)庫作為訓(xùn)練數(shù)據(jù)，構(gòu)建了SSPEC導(dǎo)診大模型【18】。相比人類導(dǎo)診，SSPEC在事實(shí)性、安全性、共情能力均展現(xiàn)出明顯優(yōu)勢(shì)，在真實(shí)應(yīng)用場(chǎng)景中，降低了11.2%的重復(fù)溝通和5.4%的醫(yī)患沖突比例。

? ? ? ? ??

? ? ? ? ??

二、LLM在醫(yī)療領(lǐng)域的優(yōu)勢(shì)總結(jié)

• LLM 在醫(yī)學(xué)中帶來了更準(zhǔn)確的診斷和預(yù)測(cè)，促進(jìn)了早期疾病檢測(cè)和個(gè)性化治療計(jì)劃的制定。

• 為醫(yī)生提供實(shí)時(shí)決策支持和更新的醫(yī)學(xué)知識(shí)，從而優(yōu)化臨床決策過程。

• 個(gè)性化治療方案并促進(jìn)藥物開發(fā)，為患者提供更精確的治療選擇和用藥選擇。

• LLM有潛力增強(qiáng)患者管理和醫(yī)療流程，提高醫(yī)療效率和患者護(hù)理質(zhì)量。

• LLM可以支持醫(yī)學(xué)教育和醫(yī)療知識(shí)的傳播，促進(jìn)醫(yī)學(xué)生和從業(yè)者的持續(xù)學(xué)習(xí)和改進(jìn)。

? ? ? ? ??

三、挑戰(zhàn)：

在生物醫(yī)學(xué)研究中整合LLM帶來了機(jī)遇，同時(shí)也提出了重要的倫理考慮。包括：

潛在的算法偏見；

在人工智能輔助的臨床決策中的知情同意；

醫(yī)療責(zé)任和法律責(zé)任問題；

對(duì)數(shù)據(jù)所有權(quán)和隱私的擔(dān)憂。

應(yīng)對(duì)這些挑戰(zhàn)需要人工智能研究人員、醫(yī)療專業(yè)人員、倫理學(xué)家和政策制定者之間的合作，以制定穩(wěn)健的指導(dǎo)方針和監(jiān)管框架。

總的來說，LLM正成為醫(yī)學(xué)創(chuàng)新的新引擎。ChatGPT等通用模型已展現(xiàn)出卓越的推理和分析洞察能力，隨著垂直領(lǐng)域模型的不斷深化，未來智能助手將切實(shí)融入醫(yī)生的日常實(shí)踐，為診療質(zhì)量和效率的提升提供有力支撐。

? ? ? ? ??

參考文獻(xiàn)：

1 Wang, C., Li, M., He, J., Wang, Z., Darzi, E., Chen, Z., Ye, J., Li, T., Su, Y., Ke, J., Qu, K., Li, S., Yu, Y., Liò, P., Wang, T., Wang, Y.G., & Shen, Y. (2024). A Survey for Large Language Models in Biomedicine.?ArXiv, abs/2409.00133.?

2 Wang, X., Zhao, J., Marostica, E. et al. A pathology foundation model for cancer diagnosis and prognosis prediction.?Nature?(2024).?https://doi.org/10.1038/s41586-024-07894-z

3 Vorontsov, E., Bozkurt, A., Casson, A., Shaikovski, G., Zelechowski, M., Severson, K., Zimmermann, E., Hall, J., Tenenholtz, N., Fusi, N., Yang, E., Mathieu, P., van Eck, A., Lee, D., Viret, J., Robert, E., Wang, Y. K., Kunz, J. D., Lee, M. C. H., Bernhard, J. H., … Fuchs, T. J. (2024). A foundation model for clinical-grade computational pathology and rare cancers detection.?Nature medicine,?30(10), 2924–2935. https://doi.org/10.1038/s41591-024-03141-0

4 Lu, M. Y., Chen, B., Williamson, D. F. K., Chen, R. J., Zhao, M., Chow, A. K., Ikemura, K., Kim, A., Pouli, D., Patel, A., Soliman, A., Chen, C., Ding, T., Wang, J. J., Gerber, G., Liang, I., Le, L. P., Parwani, A. V., Weishaupt, L. L., & Mahmood, F. (2024). A multimodal generative AI copilot for human pathology.?Nature,?634(8033), 466–473. https://doi.org/10.1038/s41586-024-07618-3? ? ? ? ??

5 Zhou, J., He, X., Sun, L., Xu, J., Chen, X., Chu, Y., Zhou, L., Liao, X., Zhang, B., Afvari, S., & Gao, X. (2024). Pre-trained multimodal large language model enhances dermatological diagnosis using SkinGPT-4.?Nature communications,?15(1), 5649. https://doi.org/10.1038/s41467-024-50043-3

6 Wu, S. H., Tong, W. J., Li, M. D., Hu, H. T., Lu, X. Z., Huang, Z. R., Lin, X. X., Lu, R. F., Lu, M. D., Chen, L. D., & Wang, W. (2024). Collaborative Enhancement of Consistency and Accuracy in US Diagnosis of Thyroid Nodules Using Large Language Models.?Radiology,?310(3), e232255. https://doi.org/10.1148/radiol.232255?? ?

7 Song, M., Wang, J., Yu, Z., Wang, J., Yang, L., Lu, Y., Li, B., Wang, X., Wang, X., Huang, Q., Li, Z., Kanellakis, N. I., Liu, J., Wang, J., Wang, B., & Yang, J. (2024). PneumoLLM: Harnessing the power of large language model for pneumoconiosis diagnosis.?Medical image analysis,?97, 103248. https://doi.org/10.1016/j.media.2024.103248

8 Zhang, H., Zhou, Y., Zhang, Z., Sun, H., Pan, Z., Mou, M., Zhang, W., Ye, Q., Hou, T., Li, H., Hsieh, C. Y., & Zhu, F. (2024). Large Language Model-Based Natural Language Encoding Could Be All You Need for Drug Biomedical Association Prediction.?Analytical chemistry, 10.1021/acs.analchem.4c01793. Advance online publication. https://doi.org/10.1021/acs.analchem.4c01793? ? ? ? ??

9 Huang, K., Chandak, P., Wang, Q.?et al.?A foundation model for clinician-centered drug repurposing.?Nat Med?(2024). https://doi.org/10.1038/s41591-024-03233-x

10 Wu, K., Xia, Y., Deng, P., Liu, R., Zhang, Y., Guo, H., Cui, Y., Pei, Q., Wu, L., Xie, S., Chen, S., Lu, X., Hu, S., Wu, J., Chan, C. K., Chen, S., Zhou, L., Yu, N., Chen, E., Liu, H., … Liu, T. Y. (2024). TamGen: drug design with target-aware molecule generation through a chemical language model.?Nature communications,?15(1), 9360. https://doi.org/10.1038/s41467-024-53632-4? ?

11 Qi, X., Zhao, L., Tian, C., Li, Y., Chen, Z. L., Huo, P., Chen, R., Liu, X., Wan, B., Yang, S., & Zhao, Y. (2024). Predicting transcriptional responses to novel chemical perturbations using deep generative model for drug discovery.?Nature communications,?15(1), 9256. https://doi.org/10.1038/s41467-024-53457-1

12 Liu, X., Wang, Q., Zhou, M., Wang, Y., Wang, X., Zhou, X., & Song, Q. (2024). DrugFormer: Graph-Enhanced Language Model to Predict Drug Sensitivity.?Advanced science (Weinheim, Baden-Wurttemberg, Germany),?11(40), e2405861. https://doi.org/10.1002/advs.202405861

13 Kabir, A., Bhattarai, M., Peterson, S., Najman-Licht, Y., Rasmussen, K. ?., Shehu, A., Bishop, A. R., Alexandrov, B., & Usheva, A. (2024). DNA breathing integration with deep learning foundational model advances genome-wide binding prediction of human transcription factors.?Nucleic acids research,?52(19), e91. https://doi.org/10.1093/nar/gkae783

14 Shao, B., & Yan, J. (2024). A long-context language model for deciphering and generating bacteriophage genomes.?Nature communications,?15(1), 9392. https://doi.org/10.1038/s41467-024-53759-4

15 Pareja, F., Dopeso, H., Wang, Y. K., Gazzo, A. M., Brown, D. N., Banerjee, M., Selenica, P., Bernhard, J. H., Derakhshan, F., da Silva, E. M., Colon-Cartagena, L., Basili, T., Marra, A., Sue, J., Ye, Q., Da Cruz Paula, A., Yeni Yildirim, S., Pei, X., Safonov, A., Green, H., … Reis-Filho, J. S. (2024). A Genomics-Driven Artificial Intelligence-Based Model Classifies Breast Invasive Lobular Carcinoma and Discovers CDH1 Inactivating Mechanisms.?Cancer research,?84(20), 3478–3489. https://doi.org/10.1158/0008-5472.CAN-24-1322?? ?

16 Sun, X., Wu, Z., Su, J., & Li, C. (2024). A deep attention model for wide-genome protein-peptide binding affinity prediction at a sequence level.?International journal of biological macromolecules,?276(Pt 2), 133811. https://doi.org/10.1016/j.ijbiomac.2024.133811? ? ? ? ??

17 Cai, S., Venugopalan, S., Seaver, K., Xiao, X., Tomanek, K., Jalasutram, S., Morris, M. R., Kane, S., Narayanan, A., MacDonald, R. L., Kornman, E., Vance, D., Casey, B., Gleason, S. M., Nelson, P. Q., & Brenner, M. P. (2024). Using large language models to accelerate communication for eye gaze typing users with ALS.?Nature communications,?15(1), 9449. https://doi.org/10.1038/s41467-024-53873-3

18 Wan, P., Huang, Z., Tang, W.?et al.?Outpatient reception via collaboration between nurses and a large language model: a randomized controlled trial.?Nat Med?30, 2878–2885 (2024). https://doi.org/10.1038/s41591-024-03148-7