系統(tǒng)生物學(xué)研究所 (ISB) 的研究人員對(duì)使用人工智能 (AI) 從電子健康記錄中識(shí)別健康社會(huì)決定因素的優(yōu)勢(shì)和局限性有了新的認(rèn)識(shí)。他們的研究結(jié)果發(fā)表在《醫(yī)學(xué)互聯(lián)網(wǎng)研究雜志》上。

ISB 團(tuán)隊(duì)與 Providence 合作，利用了由生成式預(yù)訓(xùn)練轉(zhuǎn)換器 (GPT) 開發(fā)的大型語言模型(LLM)。他們的研究完全在安全的 Providence 內(nèi)部環(huán)境中進(jìn)行。

這項(xiàng)研究旨在檢測住房不穩(wěn)定情況，對(duì)795 名孕婦的25,000 多份臨床記錄進(jìn)行了分析，并評(píng)估了兩種大型語言模型(GPT-4 和 GPT-3.5)、一個(gè)命名實(shí)體識(shí)別模型、正則表達(dá)式和人工審查。

這項(xiàng)研究在兩個(gè)重要方面超越了以前的研究。首先，研究人員測量了人工智能發(fā)現(xiàn)住房問題、區(qū)分當(dāng)前和過去住房不穩(wěn)定情況以及提供臨床記錄直接證據(jù)的能力。其次，他們測量了如果記錄被去識(shí)別化，人工智能的表現(xiàn)是否會(huì)有所不同。

GPT-4 是所測試的四種技術(shù)中最有效的，并且在發(fā)現(xiàn)住房不穩(wěn)定的案例(召回率)方面比人類更好。然而，人類更善于理解人們何時(shí)沒有住房不穩(wěn)定(精確度)。人類也更善于從臨床記錄中提供正確的證據(jù)。

“這些結(jié)果表明，LLM 為初步尋找可能受益于外展的患者提供了一種可擴(kuò)展、經(jīng)濟(jì)有效的解決方案，”該論文的通訊作者、ISB 副教授 Jennifer Hadlock 醫(yī)學(xué)博士說。