Meta以AI代理模型測試搜尋建議排序後,搜尋工作階段數較對照組相對增加0.23%,但搜尋畫面渲染時間也變長。
Meta(META)研究團隊在18日公開的論文中公布這項結果。實驗模型「Nullstate」負責排列搜尋建議詞,這些詞會在使用者開啟搜尋欄、輸入文字前顯示。論文所列每日超過10億次的處理量,指的是模型請求數,與使用者人數或搜尋工作階段數不同。
實驗計畫進行31天。AI代理會修改模型程式碼、執行訓練工作,再進行離線評估;研究團隊使用Claude Opus 4.8探索候選變更。
代理每次並行處理7項候選變更,並檢查結果波動。整個計畫共完成1097項候選實驗,其中325項通過離線評估並納入累積模型,採用率為29.6%。另有155項變動性測量工作,完成的執行總數為1252項。
研究團隊估計,計入已完成工作、失敗與重試後,總計耗用約36萬GPU小時。論文記載,已完成工作約5000 job-hour,失敗與重試工作約600 job-hour。
論文也記錄2798次失敗或重試嘗試,沒有公布GPU使用的金額成本。
研究團隊另進行超過一週的實際使用者A/B測試,結果顯示搜尋工作階段數較對照組相對增加0.23%,95%信賴區間為±0.15。研究團隊將此結果描述為具有統計顯著性的改善。
參與度、使用留存等後續指標也朝改善方向變動,但研究團隊沒有公布具體數值。這些結果僅說明搜尋工作階段數的變化,不代表其他後續指標的改善幅度。
同一項測試中,搜尋畫面的渲染時間變長。論文沒有公布延遲增加幅度。
通過離線評估的325項候選變更,並不代表有325個模型各自在實際使用者測試中成功。這是候選實驗過程中納入累積模型的變更數;實際使用者測試則另外採用納入這些變更的最終模型進行。
前一版本在64項候選變更中採用10項,採用率為15.6%。研究團隊在論文中指出,兩個版本的目標與探索條件不同,因此不能只靠採用率比較成效。
整個實驗也不是由代理獨立完成。研究團隊設定目標與探索方向、檢視最終模型,並另外進行使用者測試。
研究團隊表示,計畫結束前已找到表現最佳的模型,後續反覆實驗沒有帶來更多改善。代理在重複失敗方向,以及自行撤回錯誤採用的變更方面也有侷限。代理未採用的修改結果能否用於後續改進,本刊先前曾作介紹。
論文檢核表註明未公開程式碼與資料。統計報告項目標示為「No」,但論文仍提供線上指標的信賴區間,並說明離線變動性尚未充分量化。
Meta同日也在技術部落格介紹另一項將代理應用於廣告排名模型的工作。Meta表示,在部分技術與模型組合中,訓練運算量的中位數降至原先的四分之一左右;這項數據來自不同於搜尋建議詞的工作。
Comment 0