新聞 
幣種資訊 
關於我們 
Google與卡內基美隆大學（Carnegie Mellon University）研究團隊提出一種兼顧AI代理功能與安全性的Harness演進方法。在SecRepoBench探索分割中，同時滿足功能與安全要求的比例為76.7%；BaxBench三個分割的平均整合分數則為61.3%。
研究團隊於10月10日在論文預印本平台arXiv公開論文《Harmony Harness：代理Harness的多目標自我演進》。作者來自Google Cloud AI Research、Google DeepMind及卡內基美隆大學。
Harness是協助AI模型呼叫工具、追蹤任務狀態並持續執行流程的運作環境，包含系統提示、工具、驗證程序與工作流程等。
研究團隊指出，既有的Harness演進方法通常以單一分數為目標，一次調整整套系統。提升功能的改動可能放寬安全檢查；加強安全性時，也可能阻擋原本必要的任務。
Harmony Harness分別評估功能與安全性，並在多個目標之間權衡，探索不同Harness候選方案。它將通用元件與針對特定基準測試調整的元件分開演進，再依任務組合；修改時則挑選工具、技術或任務邏輯等必要部分，而非更動整套Harness。
研究團隊以安全程式碼生成基準SecRepoBench與BaxBench，將方法與既有Harness演進基線進行比較。在SecRepoBench探索分割中，同時達成功能與安全要求的比例為76.7%；這項數據並非單獨的安全性分數。
研究團隊表示，在未用於訓練的分割中，整合分數也高於比較基準。BaxBench三個分割的平均整合分數為61.3%，高於基線的42.9%。各項結果均為三次執行的平均值。
這項研究探討Harness設計對代理任務執行的影響，延續了既有研究提出的觀察：AI代理的執行架構可能影響基準測試結果。不過，兩項研究的評估環境與實驗條件不同，分數無法直接比較。
本研究評估範圍為安全程式碼任務。論文指出，基準測試分數不代表實際服務的安全性或效能獲得保證；在安全與功能衝突更明顯的其他任務類型中，仍需進一步驗證。
論文未提出商業產品上市或導入實際服務的計畫，研究結果僅適用於SecRepoBench與BaxBench實驗。
留言 0