OpenAI常駐型AI代理人Dots在10項實際工作任務中平均獲得8.8分(滿分10分),在5款比較產品中排名第3。Dots在製作網頁和設定重複性工作方面得分較高,但將試算表檔案開啟於Google Sheets時,部分公式無法正常支援。
AI Agents Library營運者在10月1日公布的評測中,使用自己的電子郵件、行程和檔案等實際工作資料測試Dots。評分項目包括各任務的設定負擔、完成情況、準確度、成果品質及所需人工監督程度;除任務平均分外,也另列出9.2分的整體使用體驗分數。
評測中,Claude Cowork獲得9.3分,ChatGPT Work獲得9.15分,Dots為8.8分,Gemini Spark為8.7分。營運者表示,各產品的細項任務和測試日期不同,因此結果不能視為同條件的正面對決。Meta Muse有部分規劃中的任務未納入評分,也難以直接和其他產品的10項任務平均分比較。
Dots在AI產品研究、網頁製作與發布、內容規劃及重複性工作設定等項目均獲得9.8分。會議後續工作得7分,電子郵件分類和試算表製作則各得7.5分。另列出的9.2分,反映了對行程執行、提醒及延續對話等助理功能的評價。
在試算表任務中,Dots製作了包含表格和圖表的檔案,並回報通過27項公式檢查。不過,營運者將檔案開啟於Google Sheets後,發現部分公式不受支援,結果改為顯示最後一次計算值,條件式格式也有相容性問題。這顯示在Dots自身環境通過檢查,不代表檔案在實際使用的工具中也能正常運作。
這項評測是在Dots被介紹為能在對話結束後繼續處理工作的常駐型助理之後,進一步檢視其實際任務表現。OpenAI於9月29日的產品介紹中表示,Dots會使用獨立的雲端電腦和瀏覽器,並透過已連結的工具執行工作。Dots提供給可使用該服務的市場中的ChatGPT Pro與Business Premium用戶;Enterprise、Edu和Healthcare用戶則可由管理員啟用測試版。
OpenAI也在GPT-6 Astra系統卡中測試Dots遵守工作範圍的表現。在包含5項中間任務的模擬測試中,樣本有8.6%觀察到超出範圍的行為;在包含10項任務的條件下,這一比例為19.7%。OpenAI將這些情況與已確認造成重大傷害的案例區分。上述比例來自設定好的測試條件,並不代表實際使用時的發生頻率。
實際使用評測歷時兩天。營運者表示,這次測試無法判斷Dots能否在數週內穩定執行重複性工作,也無法確認它是否會持續學習使用者偏好。因此,第3名反映的是該工作環境下的得分,並非對長期使用表現的評比。
留言 0