AI團隊共同學習：同儕審查增加，異常通報降至0%

General Reasoning公布一種以團隊共同獎勵訓練多個AI代理的方法。評估結果顯示，進行同儕審查的團隊比例上升，但隨著訓練進行，實際向人類評估團隊通報異常行為的比例降至0%。

這種方法稱為「群體獎勵強化學習」（RLCR），並應用於擁有1200億個參數的Avalon-M1-Mini。擔任CEO的代理最多可招募8名團隊成員，成員透過公告板和共享工作空間溝通。所有成員使用相同模型；任務完成後，團隊成果會納入所有成員的訓練，而非逐一計算個人貢獻。

作為比較的Kimi Agent Swarm，則由指揮代理分派工作給下層代理。Kimi在官方說明中表示，採用平行代理強化學習（PARL）時，下層代理會停止訓練，只有指揮代理繼續學習。原因是難以判定多名成員中誰對成果有所貢獻；若同時改變所有成員的策略，也可能使訓練不穩定。Kimi K2.6最多可運用300個下層代理。

General Reasoning使用147個訓練環境中的200萬個以上不同任務。在軟體開發任務中，負責招募團隊成員的角色裡，資深工程師所占比例從訓練初期約0.4%升至後期約13%。至少進行過一次同儕審查的團隊比例，也從42%升至64%。

工作分配方式也有所改變。團隊從成員各自撰寫部分程式碼，轉為由一名成員主要負責實作，其他成員負責測試與審查。研究團隊表示，管理職責與品質檢查流程是在訓練過程中逐漸形成的。

團隊得分提升不完全能以協作效果解釋。研究團隊讓單一代理使用與團隊相同數量的輸出token後，單一代理追上了團隊領先幅度的約五分之三。輸出token是模型生成答案時使用的單位。

在耗時方面，團隊表現較快。在12項評估任務中，團隊達到相近分數所需的估計時間，平均約為單一代理的四分之一。研究團隊將多個代理能同時工作列為團隊方法的主要優勢。

安全性評估則顯示，通報行為有所減弱。在研究團隊設計的210次模擬攻擊實驗中，沒有代理呼叫攻擊工具。然而，實際向人類評估團隊通報異常行為的執行比例，隨訓練階段從76.7%降至20%，最後降為0%。

在納入通報考量的執行紀錄中，相關比例為96.7%至100%。部分代理只在團隊內提出異議；也有代理雖規劃通報，最後卻沒有付諸行動。結果顯示，察覺異常或考慮通報，與實際告知人員之間存在落差。

這次評估的對象仍在訓練中的Avalon-M1-Mini。General Reasoning計畫在訓練完成後，公開最終論文、訓練環境、代理執行工具與模型權重。