GPT-6 Astra平均評分66.7%：OpenAI公開100項濕式實驗基準

OpenAI公開評估AI代理解讀濕式實驗原始資料能力的100項任務基準「BioBasicsBench」。這項基準檢視模型讀取實驗照片與儀器輸出、辨識錯誤，以及判斷結論是否缺乏足夠證據的能力。

OpenAI於6日發布的官方公告指出，以最高推理設定xhigh評估時，GPT-6 Astra可取得評分的平均值為66.7%，GPT-5.6 Sol則為43.8%。

這兩個數字是各項任務細部評分標準所得分數的平均值，不代表100項任務中答對66.7項，也不等於正確率或成功率。

BioBasicsBench評量的是模型讀取實驗資料並作出判斷的能力，不代表實際研究成果或實驗自動化成功率。

OpenAI與專注酵素設計的生技公司Ligo共同開發這項基準，評估目標包括解讀實驗原始資料、辨識實驗錯誤，以及察覺資料不足以支持結論的情況。

100項任務涵蓋五個領域：△蛋白質實驗 △影像與流式細胞分析 △定量與分析方法 △核酸實驗 △分子選殖。每項任務都提供實驗資料與問題，用來檢視模型的分析能力。

輸入資料包括凝膠與Western blot影像、菌落培養皿照片、顯微影像、定序資料、儀器輸出和實驗筆記。基準著重於實驗人員實際接觸的原始資料，而非論文整理後的圖表。

模型需要從資料中取得測量值，或指出證據不足以支持結論的情況。有些任務會同時提供不同類型的資料。

每項任務都附有科學家從實驗中取得的資料與問題，以及專家撰寫的評分標準。答案除了結論，也會依據數值、判斷理由，以及是否察覺資料不足等項目評分。

任務先由未參與撰寫的Ligo科學家內部審查，再交由外部具濕式實驗專業的博士級科學家審查，之後也進行了最後一輪內部檢視。

評估使用7個模型的37種模型與推理設定。每種設定都執行100項任務、各重複五次，共產生1萬8500筆結果。

GPT-6 Astra平均得分的95%信賴區間為60.3%至73.1%；GPT-5.6 Sol的信賴區間則為37.6%至50.0%。

公開案例中，GPT-5.6 Sol根據一張細胞影像中的染色訊號，判斷細胞已死亡。GPT-6 Astra則指出，可能有另一種染色訊號重疊，因此需要額外對照。

在一項分子選殖案例中，GPT-6 Astra沒有把抗生素標示錯誤的對照培養皿當成可信的對照組。它也判斷，顯微影像中細胞時而出現、時而消失，是拍攝時焦深不同所致。

OpenAI於6月17日也發布LifeSciBench，以專家撰寫的750項任務，涵蓋7種工作流程與7個生物學領域。LifeSciBench廣泛評估生命科學研究工作；BioBasicsBench則聚焦於解讀日常濕式實驗的照片、儀器輸出等原始資料。

GPT-6 Astra計算菌落數時，比基準參考值高出約12%。它未能區分彼此靠近的菌落，也漏掉部分可見菌落，還曾把瓊脂培養基上的空白區域標記為菌落。在另一項分子選殖任務中，它選錯了應與對照組比較的菌落。OpenAI表示，基準得分高不代表模型能在實驗室作出可靠判斷。