Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

搜尋工作階段數相對增0.23%,Meta AI實驗畫面渲染時間也變長

智慧型手機畫面顯示搜尋欄下方排列的建議詞/TokenPost.ai

Meta以AI代理模型測試搜尋建議排序後,搜尋工作階段數較對照組相對增加0.23%,但搜尋畫面渲染時間也變長。

Meta(META)研究團隊在18日公開的論文中公布這項結果。實驗模型「Nullstate」負責排列搜尋建議詞,這些詞會在使用者開啟搜尋欄、輸入文字前顯示。論文所列每日超過10億次的處理量,指的是模型請求數,與使用者人數或搜尋工作階段數不同。

實驗計畫進行31天。AI代理會修改模型程式碼、執行訓練工作,再進行離線評估;研究團隊使用Claude Opus 4.8探索候選變更。

代理每次並行處理7項候選變更,並檢查結果波動。整個計畫共完成1097項候選實驗,其中325項通過離線評估並納入累積模型,採用率為29.6%。另有155項變動性測量工作,完成的執行總數為1252項。

研究團隊估計,計入已完成工作、失敗與重試後,總計耗用約36萬GPU小時。論文記載,已完成工作約5000 job-hour,失敗與重試工作約600 job-hour。

論文也記錄2798次失敗或重試嘗試,沒有公布GPU使用的金額成本。

研究團隊另進行超過一週的實際使用者A/B測試,結果顯示搜尋工作階段數較對照組相對增加0.23%,95%信賴區間為±0.15。研究團隊將此結果描述為具有統計顯著性的改善。

參與度、使用留存等後續指標也朝改善方向變動,但研究團隊沒有公布具體數值。這些結果僅說明搜尋工作階段數的變化,不代表其他後續指標的改善幅度。

同一項測試中,搜尋畫面的渲染時間變長。論文沒有公布延遲增加幅度。

通過離線評估的325項候選變更,並不代表有325個模型各自在實際使用者測試中成功。這是候選實驗過程中納入累積模型的變更數;實際使用者測試則另外採用納入這些變更的最終模型進行。

前一版本在64項候選變更中採用10項,採用率為15.6%。研究團隊在論文中指出,兩個版本的目標與探索條件不同,因此不能只靠採用率比較成效。

整個實驗也不是由代理獨立完成。研究團隊設定目標與探索方向、檢視最終模型,並另外進行使用者測試。

研究團隊表示,計畫結束前已找到表現最佳的模型,後續反覆實驗沒有帶來更多改善。代理在重複失敗方向,以及自行撤回錯誤採用的變更方面也有侷限。代理未採用的修改結果能否用於後續改進,本刊先前曾作介紹。

論文檢核表註明未公開程式碼與資料。統計報告項目標示為「No」,但論文仍提供線上指標的信賴區間,並說明離線變動性尚未充分量化。

Meta同日也在技術部落格介紹另一項將代理應用於廣告排名模型的工作。Meta表示,在部分技術與模型組合中,訓練運算量的中位數降至原先的四分之一左右;這項數據來自不同於搜尋建議詞的工作。

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1