HMED 六項實驗後續表現均勝比較方法

AI 代理即使沒有採用某項修改方案，也能把修改過程中的結果用於後續改進。研究團隊提出的 HMED，在兩種模型搭配三項評測任務的六種實驗設定中，平均後續表現都高於比較方法。

清華大學、上海交通大學與上海創新研究院的研究人員於 10 月 6 日在論文預印本平台 arXiv 發表《從修改結果中學習：為自我改進代理蒸餾後設經驗》。論文中的「Meta」指代理處理自身改進方式的「後設技能」，與 Meta 公司無關。

代理執行任務時使用的能力稱為「任務技能」；尋找並調整這些能力的流程則稱為「後設技能」。若只看改進後的最終結果，便難以分辨成效來自較好的初始條件，還是修改流程本身。

HMED 會重建促成後設技能修改的過往狀態，分別執行修改前與修改後的方法，再比較結果。比較結果會記錄為「後設經驗」，並傳遞至下一輪修改。即使修改方案未獲採用，探索過程及發現的能力如何變化，仍可用於後續改進。

研究人員將 Qwen3-32B 與 DeepSeek-v4-Flash 套用於 ALFWorld、ScienceWorld 和 BiomniBench-DA 三項任務。論文指出，兩種模型與三項任務組成的六種設定中，HMED 的平均後續表現都高於比較方法。

在 Qwen3-32B 的 ALFWorld 測試中，成功率從既有後設技能演化方法 MetaSkill-Evolve 的 51.49% 升至 HMED 的 54.11%；ScienceWorld 成功率則從 20.84% 升至 22.56%。生物醫學分析任務 BiomniBench-DA 的分數，以滿分 100 分計，從 17.80 分升至 20.78 分。

研究團隊也進行了另一組比較實驗，移除將修改結果傳遞至下一次更新的步驟。在 ALFWorld 中，該設定的成功率為 49.25%，比 HMED 完整方法的 54.11% 低 4.86 個百分點。研究人員表示，將修改結果傳遞至後續改進的流程，也有助於解釋該實驗中的表現差異。

這項研究以基準測試評估代理的改進流程，並未提供虛擬資產交易代理或實際服務表現的測量結果。

先前也有研究將失敗嘗試與修改內容納入學習，以降低工具呼叫失敗率，案例包括Perplexity 的研究。兩項研究都將失敗中的資訊用於後續改進；這篇論文則探討在相同狀態下比較修改前後後設技能的方法。