Qwen數學分數從7.9%升至48.1%，GPT-6 Astra調整權重

GPT-6 Astra修改通義千問(Qwen) 3.5-0.8B（Qwen3.5-0.8B）的131,072個權重後，MATH-500分數從7.9%升至48.1%，初步實驗結果顯示如此。修改的權重占總數0.016%。

麻省理工學院電腦科學與人工智慧實驗室（MIT CSAIL）研究團隊於11月2日公開的研究文章中，將這種方法稱為「Weight-Space Programming」。這種做法是讓大型語言模型檢視另一個模型的權重，並直接修改部分數值。

同一實驗中，GSM8K分數從13.8%升至67.1%；評估指令遵循能力的IFEval分數則從21.0%升至62.3%。MATH-500修改前後的分數相差約6.1倍。

不過，這些數據是在以通義千問 3.5-0.8B為對象、最多允許執行模型50次的條件下取得。這不代表所有模型或任務的數學表現都提高6倍。

實驗中，GPT-6 Astra透過存放權重的Python工作環境尋找需要修改的部分。研究團隊沒有計算梯度，也沒有重新執行訓練流程。

研究團隊改以GSM8K和MATH的訓練題目執行模型，並檢視結果。所謂「不經重新訓練就完成修改」，並不代表完全沒有收到回饋、一次就完成修改。

研究團隊最初檢視的96份練習答案中，有85份在完成回答前達到32,768個token的上限。研究團隊認為，實驗對象遇到的問題是重複推理導致答案無法完成，而非數學能力本身不足。

研究團隊表示，他們找出與重複推理相關的權重方向，並調整第15層和第19層的部分數值。雖然調整的數值只占總權重的一小部分，這次實驗仍聚焦於減少特定模型觀察到的重複推理問題。

在MATH-500評測中，因達到token上限而未完成的回答比例，從修改前的93.0%降至修改後的33.1%。除了分數上升，未能生成完整回答的比例也有所下降。

通義千問的官方模型卡指出，在建議設定下，通義千問 3.5-0.8B比其他通義千問 3.5模型更容易陷入重複思考。這項說明與研究鎖定的問題相符，但並未獨立驗證研究團隊公布的分數。

權重是模型處理輸入並生成回答時使用的數值參數。這次方法測試的是，能否讓另一個模型直接檢視並調整部分權重，而不必重新訓練原模型。

在重複推理問題較少的Gemma 3 270M上進行的補充實驗中，MATH-500分數從基準的6.8%變為最高7.7%。研究團隊沒有將此結果視為已確立的提升。

因此，這次結果難以作為證據，證明只要稍微調整權重，任何模型的數學表現都會大幅提升。研究也沒有測量實際開發成本或作業時間是否因此降低。

GPT-6 Astra在這次實驗中被用來修改另一個模型的權重。OpenAI於9月3日宣布推出GPT-6 Astra一事，本報先前曾報導。

研究團隊已將實驗紀錄、評測資料和權重修改內容上傳至公開儲存庫。目前未提供其他研究團隊的重現結果，研究也未涵蓋虛擬資產或半導體應用測試。