編碼代理設計草案公開：每輪重新選擇上下文

編碼代理的設計草案近日公開，提出在每個工作階段重新選擇所需上下文，取代持續累積過往對話與工具結果的做法。草案將上下文視為每輪都可調整的對象，而非固定保存的紀錄。

TypeSafe創辦人迪奧戈·阿爾梅達(Diogo Almeida)公開編碼代理設計草案，並提議由社群直接進行實驗。他表示，TypeSafe可能沒有足夠時間親自實作這項構想的全部內容。

目前的編碼代理通常會將對話紀錄、工具執行結果與程式碼狀態持續傳遞至下一次請求。當上下文過長時，常見做法包括壓縮部分內容或重新啟動代理。

草案建議，代理應在每輪判斷是否繼續使用既有快取，或重新組成更合適的上下文。代理也可依工作情境決定各項資訊要保留全文、摘要，或完全排除。

阿爾梅達指出，現有代理設計過度受限於KV快取。KV快取是一種儲存模型處理輸入上下文時產生的中間狀態，並在下一次請求中重新利用的技術。

如果上下文前段相同，KV快取可以減少需要重新計算的內容。但當模型或輸入結構改變時，既有快取便難以重複利用。

草案提出的案例是交替使用低成本模型與高效能模型的工作流程。先將工作交給低成本模型，再切換至高效能模型，可能讓後者必須重新讀取長篇上下文，反而推高整體成本。

草案也將持續把工具定義放入系統提示詞列為效率問題。如果每次請求都包含實際未使用的工具資訊，便會占用上下文空間，也使快取更難發揮作用。

動態重組上下文後，模型路由與子代理的運作方式也可能改變。簡單工作可交給低成本模型，僅載入必要工具；子代理則只接收與個別任務相關的狀態。

草案將MCP與AGENTS.md等開發環境元件也列為必要時才載入的資訊。與其一開始提供所有設定與工具，不如依當前工作篩選適用內容，再傳遞給模型。

MCP是連接模型與外部工具的協定，AGENTS.md則是記載代理工作規則的檔案。構想是僅在需要時將兩者納入上下文，藉此依工作調整輸入組成。

阿爾梅達暫時將這種方法稱為「Meta-attention」。它更接近在操作階段決定每輪應關注哪些資訊，而不是讓模型對整個上下文保持相同程度的依賴。

TypeSafe於9月公開的Jev，被介紹為一種不以生成文字為主，而是回傳選項、分數與機率的決策模型。原始資料並未另外確認Jev能否用於編碼代理內的工作分配或工具選擇。

這項設計與編碼代理效能不僅受基礎模型影響，也取決於上下文管理與執行環境配置的趨勢相呼應。本報此前曾報導，在編碼代理市場中，harness設計可能左右成果。

草案的核心並非無條件維持長篇上下文，而是依工作保留必要資訊，再分別傳遞給模型、工具與子代理。TypeSafe提議由社群直接實驗這種架構。