OpenAI公開藥物化學AI評測工具MedChemBench。GPT-6 Astra在xhigh設定下的候選藥物排序與選擇得分為50.42%,低於分子結構重建的95.37%。
OpenAI於20日表示,GPT-6.2 Astra在xhigh推理設定下,取得可得分數的84.5%;同一設定下,GPT-6 Astra得分83.3%、GPT-6.1 Sol得分82.0%,GPT-5.6 Sol則為58.2%。
藥物化學研究會設計能作用於疾病相關蛋白質的分子,再依據實驗結果調整結構。即使分子能強力抑制目標蛋白,也可能不易被人體吸收或很快分解,因此研究人員必須同時考量多項特性。
MedChemBench以117篇論文與專利為基礎,包含99項任務及761種不同的分子結構。評測內容包括閱讀分子結構、解讀實驗證據,以及選出下一步要測試的化合物。
每項任務會提供研究進展至特定階段時已知的生物標的、候選分子與實驗結果。後續研究才取得的結果不會提供給模型,而是用來作為評分標準。
99項任務包括48項綜合候選藥物選擇、26項結構-活性關係預測、8項吸收、分布、代謝、排泄(ADME)與遞送、4項安全性、6項分子設計與結構建構、3項實驗生物學與作用機制,以及4項逆合成。逆合成是反向推演可用來製造目標分子的化學反應路徑。
評分項目包括分子結構重建、根據實驗證據撰寫科學說明、候選物排序與選擇,以及物性數值預測。研究團隊採用固定規則評分,並使用評分規準表。
公布的分數代表模型取得可得分數的比例,不是答對題目的比例。數值預測可依預測值與實際測量值的接近程度取得部分分數,因此84.5%不能解讀為新藥開發成功率或答對題目比例。
OpenAI研究團隊的評測論文顯示,GPT-6 Astra在xhigh設定下的分子結構重建得分為95.37%、科學說明為91.05%、候選物排序與選擇為50.42%,數值預測則為47.02%。相較於結構重建與實驗證據說明,模型在候選物選擇和物性數值預測項目的得分較低。
各項任務的內容與評分標準不同,細項得分不能直接與整體分數相比。研究團隊指出,即使模型擅長重建分子結構,在候選物選擇與數值預測方面仍有改善空間。
以抗癌藥物研究標的PRMT5為例,相關任務展示了如何同時評估不同分子特性。模型須根據先前的實驗資料,預測三種相似化合物對標的的抑制能力、穿越細胞屏障的程度,以及被肝臟酵素分解的速度。
後續實驗顯示,化合物23以較低濃度即可抑制PRMT5;化合物24則更容易穿越細胞屏障,且在肝臟酵素實驗中分解得較慢。
評測也單獨測試模型辨識分子圖像的能力。在一項須保留由18個原子組成的環狀結構來組裝分子的任務中,GPT-6 Astra十次皆重建出正確結構;GPT-5.6 Sol與GPT-5.6 Luna則各十次全數失敗。
評測題目是否公開,以及評分方式如何設計,都可能影響基準測試結果的解讀。
OpenAI表示,無法排除模型在訓練過程中接觸過原始論文與專利的可能性。每題只取得一次回答,過程中沒有使用工具、取得回饋或進行新實驗。OpenAI也說明,這次評測並未證明AI已能實際發現新藥,或改善實驗室判斷。
Comment 0