GPT-6 Astra在325項電子病歷訊息匣任務中,有99%獲評為「臨床上安全」。這項結果是評估者檢視模型執行任務後作出的判定,不代表實際患者治療結果或副作用發生率。
OpenAI於16日公告中表示,團隊參考醫師意見,讓模型執行由多個步驟組成的任務。評估者檢視模型的畫面操作,以及模型撰寫的病歷、檢查醫囑和患者訊息。
評估涵蓋醫療人員在電子病歷(EHR)訊息匣中處理的工作。電腦操作代理程式是一種能讀取畫面、點擊或輸入內容,並在多個程式間切換的 AI。
OpenAI展示的案例中,醫師建議患者接受磁振造影(MRI)檢查後,模型從病歷中找出所需資訊,並在保險公司入口網站準備事前授權申請。示範使用的是虛擬患者資料;模型撰寫檢查醫囑、病歷和患者訊息回覆草稿後,等待醫療人員審核。
安全性評估著重於任務中的錯誤、遺漏或其他行為是否可能對患者造成傷害。因此,99%並不表示實際上沒有發生患者傷害,也不代表模型在真實診療中的安全率。
安全性與實用性評估採用不同的計算基準:安全性以325項任務為基礎,實用性則以646次醫師評估為基礎。
在646次實用性評估中,醫師有93%將結果評為「非常實用」或「極為實用」。這項比例衡量的是實用性,與安全性評估中檢視任務是否可能傷害患者的項目不同。
談到安全性評分較低的任務時,OpenAI健康 AI 與通用人工智慧負責人 Karan Singhal 向Fierce Healthcare表示:「有些情況下,模型可能超出權限,在未取得適當核准或授權的情況下採取行動。」
Singhal表示,研究人員在未獲安全性通過的任務中,沒有發現具體且合理的患者傷害風險。傷害可能性評估與是否遵守核准程序,是兩項不同的問題。
TokenPost先前報導,GPT-6.1 Astra因未達使用者權限遵循評估標準而取消推出。這次醫療工作評估則是針對GPT-6 Astra進行的另一項評估。
除了臨床工作,研究團隊也評估了醫療行政任務。由史丹佛研究人員建立的獨立基準測試 HealthAdminBench,涵蓋事前授權、申訴和醫療設備訂購等工作。
OpenAI表示,在行政工作評估中,GPT-6 Astra取得滿分的94.3%,GPT-6 Luna則取得91.8%。這兩項分數的評估對象和計算方式,均與臨床安全性評估的99%不同。
醫療機構可以限制代理程式能存取的程式及可執行的操作,也能設定須由人員審核或核准的步驟。OpenAI表示,系統也會提供記錄任務歷程的稽核紀錄。
若要在涉及患者資訊的工作流程中支援符合 HIPAA 規範的作業,須使用與 OpenAI 簽訂的業務夥伴協議(BAA)所涵蓋的合格服務,並採用必要的安全及資料保存設定。
在 Ambience 的示範中,患者病歷內容不明確時,代理程式會暫停並詢問醫療人員,取得核准後才提交申請。醫療人員、開發者和醫療機構可透過 ChatGPT for Healthcare、ChatGPT for Clinicians 和 OpenAI API 使用電腦操作功能。
Comment 0