?這篇文獻(xiàn)主要介紹了一個(gè)名為PGxQA的資源，用于評(píng)估大語(yǔ)言模型（LLM）在藥物基因組學(xué)問(wèn)答任務(wù)中的表現(xiàn)。

研究背景

藥物基因組學(xué)（Pharmacogenomics, PGx）是精準(zhǔn)醫(yī)學(xué)中最有前景的領(lǐng)域之一，通過(guò)基因指導(dǎo)的治療來(lái)提高藥物的安全性和療效。然而，由于缺乏教育和意識(shí)，PGx在臨床中的應(yīng)用進(jìn)展緩慢。大語(yǔ)言模型（LLM）如GPT-4的引入，為開發(fā)能夠提供及時(shí)信息的醫(yī)療聊天機(jī)器人提供了可能性。

研究目標(biāo)

研究的主要目標(biāo)是開發(fā)和評(píng)估一個(gè)名為PGxQA的資源，用于評(píng)估LLM在回答PGx相關(guān)問(wèn)題時(shí)的表現(xiàn)。該資源旨在幫助臨床醫(yī)生、患者和研究人員更好地理解和利用PGx知識(shí)。

方法

自動(dòng)問(wèn)題生成：使用Python腳本從CPIC數(shù)據(jù)庫(kù)中提取相關(guān)信息，并生成問(wèn)題-答案對(duì)。

LLM查詢：使用Python腳本將問(wèn)題發(fā)送到本地或遠(yuǎn)程的LLM服務(wù)器，并收集LLM的回答。

手動(dòng)問(wèn)題生成：從實(shí)際臨床和研究環(huán)境中收集問(wèn)題，并手動(dòng)整理成問(wèn)題-答案對(duì)。

自動(dòng)評(píng)分：開發(fā)了一系列自動(dòng)評(píng)分函數(shù)來(lái)評(píng)估LLM的表現(xiàn)，包括數(shù)值評(píng)分、信息檢索評(píng)分和文本相似度評(píng)分。

人工評(píng)審：招募PGx專家對(duì)LLM的回答進(jìn)行人工評(píng)審，評(píng)估其準(zhǔn)確性、完整性和安全性。

結(jié)果

自動(dòng)評(píng)分結(jié)果：GPT-4在大多數(shù)評(píng)分指標(biāo)上表現(xiàn)優(yōu)異，特別是在數(shù)值回答和信息檢索任務(wù)中表現(xiàn)出色。

人工評(píng)審結(jié)果：GPT-4的回答在準(zhǔn)確性、完整性和安全性方面得分較高，但在某些問(wèn)題上仍存在錯(cuò)誤或危險(xiǎn)的回答。

討論

研究指出，LLM在處理PGx查詢時(shí)存在一些局限性，如對(duì)數(shù)值回答的準(zhǔn)確性較差、容易生成虛假信息等。為了解決這些問(wèn)題，提出了幾種改進(jìn)方法，包括提示工程、微調(diào)和檢索增強(qiáng)生成（RAG）。

結(jié)論

PGxQA為評(píng)估LLM在PGx任務(wù)中的表現(xiàn)提供了一個(gè)框架，并展示了GPT-4在這一領(lǐng)域的潛力。未來(lái)的研究將繼續(xù)改進(jìn)這一框架，以確保LLM在臨床環(huán)境中的應(yīng)用更加安全和有效。

歡迎關(guān)注“賽文AI藥學(xué)”！

賽文AI藥學(xué)，致力于探索人工智能在藥學(xué)場(chǎng)景中的創(chuàng)新與應(yīng)用，聚焦藥師的AI賦能與專業(yè)素養(yǎng)提升。我們提供前沿的AI技術(shù)動(dòng)態(tài)、實(shí)用的藥學(xué)場(chǎng)景案例分享以及個(gè)性化學(xué)習(xí)資源，助力藥師在智能化時(shí)代實(shí)現(xiàn)價(jià)值躍升。