AI高難度任務占比從20%升至53%　史丹佛、Google DeepMind開發TURTLE

史丹佛大學（Stanford University）與Google DeepMind研究團隊開發的TURTLE，在AppWorld應用程式操作評測中，將高難度任務占比從原本約20%提高至53%。論文所稱的165%增幅，是高難度任務占比的相對變化，並不代表AI模型答對率提高了同樣幅度。

研究團隊在10月21日修訂的預印本〈Evolving Self-tuning Benchmarks for Long-Horizon Tool Use〉（arXiv:2610.27307）公布結果。TURTLE是一套改編既有任務的系統，用來評估AI在多個應用程式間操作並完成多步驟工作的工具使用能力。

固定的評測任務可能在模型熟悉後，難以找出新的失敗類型；從頭設計新任務並驗證其能否正常運作，也需要投入時間。TURTLE利用既有任務的組成元素與執行環境來建立新問題，試圖減輕這些負擔。

系統由任務提案者、解題模型與回饋產生器三種角色組成。提案者運用AlphaEvolve修改任務，解題模型負責完成改寫後的問題，回饋產生器則檢視執行紀錄、整理失敗原因，再將結果納入下一輪修改。

提案者會調整既有任務的指示與工具使用流程，加入條件或篩選器、插入中間步驟，或要求任務同時使用多個應用程式。系統不是從頭設計任務，而是在既有評測環境中重新組合可運作的元素。

在交給解題模型之前，新任務的標準解題流程會先在模擬環境中執行，以確認沒有系統錯誤。解題模型每項任務嘗試10次；只有至少成功完整解題一次的任務，才會被視為可執行的問題。這項程序旨在避免無法解答的任務混入評測。

任務分數的設計方式，是解題模型的平均完成率越接近50%，分數就越高。這有助於排除模型幾乎總能成功或幾乎無法解題的任務，並找出成敗各半的題目。在AutomationBench中，為避免高難度任務的評測分數過於稀疏，也允許部分得分。

主要實驗在AppWorld應用程式操作評測環境中進行。研究團隊從106項既有任務建立735項新任務。既有任務中，69%每次都能由解題模型完整完成，12%則一次也未能解出；新任務幾乎全落在成功率40%至60%的區間。

研究團隊另行評估任務難度，並未將難度與解題成功率混為一談。Gemini 3.6 Flash評估器根據任務所需的互動與推理程度判定難度，採用既有人類評估的「簡單」、「普通」與「困難」三個等級。既有任務有80%被歸為簡單或普通；新任務則有53%被評為困難、44%被評為普通。

任務改寫著重於要求多步驟推理與條件確認。論文舉例，研究團隊將原有指示擴充為：確認使用者的出生月份，找出同月出生且住在西雅圖的同事，再向不同對象傳送內容各異的訊息、匯款並寄送電子郵件。這類任務要求串連多項條件，不只是操作應用程式。

研究團隊統計，AppWorld中新任務的邏輯篩選、推理等特性出現頻率，比既有任務增加29%至212%。TURTLE不只調整解題模型的分數，也改變問題組成，例如加入新條件及中間工具操作步驟。

在面向工作應用程式的AutomationBench中，任務組成也有所擴展。既有16項任務全都使用4個應用程式；新建立的23項任務中，52%需要使用5個應用程式，13%需要使用6個。任務所需的應用程式組合也從15種增至30種。

研究團隊也將TURTLE應用於電信與銀行客服評測τ-telecom及τ-banking。電信評測從84項既有任務建立299項新任務；銀行評測則依文件搜尋方式不同，分別從17項既有任務建立82項新任務，以及從24項既有任務建立178項新任務。

在AppWorld中，結合任務特性與解題錯誤類型後，涵蓋範圍也從既有的49種擴大至新任務的54種。研究團隊表示，既有問題若過於簡單，就不容易揭露解題模型的弱點；改寫後的任務則能檢視更多失敗類型。

不過，主要結果來自以Gemma 4 31B-it作為解題模型的實驗。使用Gemini 3.6 Flash與Gemini 3.1 Flash Lite的追加實驗，只涵蓋AppWorld部分初始任務。研究團隊指出，推論需要呼叫商用模型，成本是一項限制；若要建立更大的評測集合，也必須增加初始任務數量。