OpenAI編碼代理人無需人工介入,就能完成估計需人類花費2至4小時的研究任務;成功率從3月的23%升至10月的46%。估計需4至8小時的任務,成功率同期也從13%升至35%。
OpenAI於18日公布《研究加速:鋸齒狀前沿》(Research acceleration: The jagged frontier)報告,揭露內部測量結果。報告將「無需介入成功」定義為任務執行期間沒有人為介入。
各類任務的統計期間為8月1日至10月18日。這段期間,無需介入成功率分別為:監控訓練進度79%、啟動訓練35%、建立評估、強化學習與代理人環境29%,以及撰寫推論與服務程式碼25%。
整體成功率是根據OpenAI內部使用紀錄估算。OpenAI表示,研究人員交由代理人處理的任務類型可能已經改變,因此成功率上升不一定代表模型本身的能力有所提升。
10月研究人員每人每日代理人使用量的中位數,按公開API價格計算為2,400美元(約320萬韓元);第90百分位數為2萬3,000美元(約3,064萬韓元)。這兩項數值較9月分別增加62%和105%。
上述金額並非實際支出,而是依公開費率計算的使用價值。OpenAI表示,使用活動增加、採用較高價模型,以及模型運作和代理人執行機制的變化,都反映在增幅中。
OpenAI表示,8月21日將臨時性的執行框架效率改善應用於內部後,輸入token用量大幅下降,據信也顯著降低了紀錄中的內部token使用金額。自9月10日起逐步撤回這些變更後,紀錄中的使用金額迅速增加。
以代理人運行8小時折算為一天的「代理人工作日」,研究人員每人每日平均值從0.5天增至5.7天。這項指標主要反映研究人員直接使用的對話式代理人,可能較少涵蓋自動化工作。
10月中旬的調查顯示,超過三分之二的受訪研究人員,每日最高同時使用量平均至少為4個;超過10%的人每日最高同時使用量達16個以上。
本報先前曾報導,OpenAI研究人員8月中旬每日代理人使用量按公開API價格計算,相當於601美元。這次報告進一步公布10月使用量、各類任務成功率和研究活動指標。
OpenAI也詢問101名研究員,如果他們有3個月無法使用效能優於GPT-5.2的編碼代理人,願意拿出什麼來換回使用權。回答的中位數相當於團隊人力的40%,以及團隊目前運算資源的30%。OpenAI指出,這項調查採自我回報方式,且樣本為任意抽取。
OpenAI依據內部貼文、程式碼變更審查請求(pull request)和文件等資料分類估算,安全與對齊領域有紀錄的每週研究工作量,1月至9月增加77%。公司將新增聘僱及現有研究人員工作內容轉變列為背景因素,並指出這項數據並未測量全部實際工時。
截至10月18日的四週內,每位活躍實驗者有紀錄的實驗數量,為2025年基準值的1.68倍。OpenAI表示,實驗數量增加本身不足以證明研究進展加快。
OpenAI提醒,過去的代理人使用和研究活動指標未必能預測未來研究進展。公司表示,希望持續調整衡量方式,並擴大報告安全研究與模型能力成長速度的差距,以及研究加速的領先指標。
Comment 0