GSM8K答對率69.4%！Qwen 3.5-2B修改權重後高於基準模型21.6%

研究團隊表示，調整部分權重後，通義千問（Qwen）3.5-2B在GSM8K的答對率達69.4%；相同條件下，未修改的基準模型答對率為21.6%。

QDeep與ITMO大學LEAD研究團隊於11月10日在arXiv公布預印本，說明這項結果。研究以思考模式和貪婪解碼，測試模型回答1,319道GSM8K題目，並將回答長度限制在8,192個token。

研究團隊先檢視GSM8K測試集前200題，再選擇基準模型表現最吃力的貪婪解碼作為評估條件。排除這200題後，在其餘1,119題中，修改後模型答對率為69.6%，基準模型則為21.6%。整體評估中，回答達到token上限的比例從77.9%降至26.7%；不過，基準模型答對的285題中，有38題在修改後答錯。

Tree-Ising是一種不重新訓練模型、直接調整部分已儲存BF16權重的方法。它會翻轉權重符號，或在有限範圍內改變指數，以減少重複輸出並提高模型完成回答的傾向。

研究團隊將每一列輸出是否修改，拆解為二元最佳化問題求解。Ising與QUBO在這項研究中是用來表達並最佳化二元選項的數學方法。

主要結果來自GPU上的模擬退火與量子啟發式模擬分岔法。這項實驗與使用IBM量子電腦取得的結果有所區別。

在通義千問3.5-0.8B的MATH-500四次生成評估中，模擬退火法的得分為54.6%，模擬分岔法為55.1%。研究團隊以相同評估流程重新測得代理程式修改模型的得分為51.7%。基準模型的7.9%則是先前研究數據，並非本次研究團隊直接重新測量的結果。

研究團隊表示，在五項數學評估中，兩種方法的得分都高於代理程式修改模型；納入多重比較後，MATH-500與GSM8K的差異達統計顯著。

MATH-500的500道題目中，有100題用於初期方法檢視。其餘400題中，模擬退火法得分為53.8%，代理程式修改模型為50.8%。

本報先前曾報導通義千問3.5-0.8B的權重修改實驗。當時麻省理工學院（MIT）研究團隊使用AI代理追蹤重複輸出並修改權重，並在研究文章中表示，MATH-500得分從7.9%升至48.1%。

本次論文中的0.8B實驗沿用先前代理程式選出的層；2B實驗則只依據未修改模型，選擇要調整的層與修改幅度。

論文成本表顯示，Tree-Ising的0.8B流程執行一次需要4次前向傳播請求，耗時約31分鐘、成本0.90美元（約1,200韓元）。既有代理程式尋找修改方法的過程，則估計使用50次前向傳播請求與158次大型語言模型對話，共計8,970萬個token，耗時約15.6小時、成本312美元（約41萬7,000韓元）。

這兩項成本比較的是既有代理程式搜尋修改方法的過程，以及Tree-Ising固定流程執行一次的成本。Tree-Ising流程沿用代理程式公開紀錄中的修改層與修改幅度；雙方開發方法的成本均未納入計算。

IBM Heron量子電腦實驗是概念驗證，僅從權重修改問題中取出8個變數。研究團隊沒有將該結果套用至整個模型，也未測量模型準確率。

本次評估僅涵蓋通義千問3.5系列的兩款模型、數學題目與重複輸出現象。研究並未評估這種效果是否也出現在一般語言能力或其他模型系列。