947次執行驗證AI技能 輝達(NVDA)提出全新評估法

輝達(NVDA)提出一套新方法論，主張評估人工智慧（AI）代理用的「技能」不該只看文件寫得好不好，而要看實際執行成效。研究團隊分析了145項真實技能與947次配對執行紀錄，量化每項技能對任務完成度的實際貢獻。

根據輝達研究團隊於20日（當地時間）公開的arXiv論文《Evaluating Skills, Not Just Agents》，團隊提出名為ACES（Agentic Continuous Evaluation of Skills）的評估架構。ACES的做法是讓同一項任務分別在「開啟技能」與「關閉技能」兩種條件下執行，再用「技能提升度」（Skill Lift）衡量兩者的結果差異。

論文指出，靜態結構評分與大型語言模型（LLM）評審評分之間的相關係數僅Spearman ρ=0.14，顯示兩者幾乎脫鉤。在相同條件下，平均綜合技能提升度為0.2134，其中出現正向提升的比例達72.8%。

研究團隊強調，技能提升度並非絕對效能指標，而是在相同條件下開啟技能後所增加的淨效果。一旦任務分布、模型、評估工具、工作環境或評分機制改變，數值也會跟著變動。

這套方法論的核心，是把「技能」視為可執行的代理構件，而非單純的說明文件。論文將技能定義為由SKILL.md、選用腳本、參考資料與範例組成的套件。

這種結構的前提是「漸進式揭露」（progressive disclosure），也就是代理只在需要時才讀取相關資料。隨著技能目錄規模擴大，比起一次讀完所有指引，按需載入所需指引會變得更重要。

過去的檢查方式擅長確認檔案格式、前置資訊（frontmatter）、腳本語法與安全性樣式，卻難以判斷代理是否真的能找到技能、填對參數，並把任務完整執行到底。

ACES想補上的正是這塊空缺，做法是透過即時的A/B執行來驗證。重點不在技能文件寫得多完整，而在實際執行過程中能不能被發現、被正確呼叫、並順利完成任務。

輝達技術部落格同時公開了名為SkillEvaluator的開放評估工具。輝達在部落格中表示，團隊針對300項以上經驗證技能與30項以上產品進行三階段評估，發現在正確性（Correctness）、可發現性（Discoverability）、有效性（Effectiveness）與效率（Efficiency）四項指標平均提升31分，若排除安全性（Security）項目，提升幅度達39分。

不過這組數字與論文中145項技能的實驗範圍不同。論文聚焦在方法論層次的ACES與技能提升度，部落格介紹的則較接近產品目錄層級的基準測試。

SkillEvaluator文件將這項工具定位為開源的多層框架。第一層（Tier 1）做靜態驗證，第二層（Tier 2）檢查重複與相似度，第三層（Tier 3）則是實際代理的即時評估。

輝達的GitHub儲存庫也說明，SkillEvaluator涵蓋品質關卡、語意重複偵測、合成評估資料生成，以及即時代理評估等功能。這顯示技能驗證正從單純的文件檢查，擴展成部署流程中的一個環節。

輝達在部落格中也提到針對Claude Code、Codex與Cursor推出的外掛工具，說明這套方法論並非停留在研究層次，而是已經串接進實際的技能部署與驗證流程。

這波動向也呼應本站先前報導的輝達企業AI擴張趨勢，反映企業AI的範疇正從模型本身，擴大到涵蓋工具、技能與評估體系的整套維運基礎設施。

不過導入門檻依然存在。SkillEvaluator文件將支援等級標示為「實驗性」（Experimental），並註明是社群基礎的盡力而為（best-effort），不提供服務等級協議（no SLA）。在實際維運環境中，仍須一併檢視可重現性、每次執行間的落差，以及評估成本。

這項發表與加密貨幣市場沒有直接關聯，但對於經營代理、工具鏈與技能目錄的AI基礎設施而言別具意義。技能評估的標準，正從「文件寫得好不好」轉向「能不能真正把任務做完」。