選項順序造成答案反轉率由14.3%降至6.6%：Gemma-4 4B受訓後，寓言測驗答對率下滑

經額外訓練、以道德論證品質作為獎勵的 Gemma-4 模型，在 MoralChoice 評測中的選項順序答案反轉率從14.3%降至6.6%；但在 MORABLES 寓言評測中的答對率，則從56.5%降至53.4%。

Google DeepMind研究團隊22日在 arXiv 公開的論文中公布這項結果。實驗以 Gemma-4 E4B 為基礎，訓練出另一個模型；研究論文將它稱為 Gemma-4 4B，並非直接測試 Gemma-4 基礎產品。

研究團隊從四本古典小說中找出185個道德兩難候選案例，並將通過邏輯驗證的156個案例用於訓練。驗證確認兩項義務各自都能履行，但無法同時履行；這項檢查只確認義務彼此衝突，沒有判定哪一項應優先。

研究團隊將康德倫理學、功利主義、德行倫理學、關懷倫理學和社會契約論五種觀點套用到各個兩難案例，製作出780道訓練題，要求模型依不同倫理原則，針對同一情境提出論證。

模型針對每道題目生成多個答案，再比較這些答案的論證品質，研究團隊並將評估結果用作訓練獎勵。論證是否組織得好，與結論在道德上是否合理，是兩件不同的事。

研究團隊表示，論證品質評估模型的判斷，與人類評估者的判斷呈現相似趨勢。這項結果反映的是評估論證品質的能力，不代表受訓模型的道德判斷正確。

在 MoralChoice 中，研究團隊調換道德衝突較大案例的選項順序後，答案反轉率從基礎模型的14.3%降至受訓模型的6.6%。換言之，即使選項排列不同，模型的結論也較不容易改變；這項指標衡量的是一致性，無法說明答案是否正確。

在評估日常困擾回答的 ELEPHANT 中，模型間接回答的比例從25.5%降至6.2%；站在說話者一方的比例則從45.3%微降至44.0%。模型採納使用者提出問題時所帶觀點的比例，則從5.2%升至7.5%。

在 MORABLES 評測中，模型要從五個選項中選出古典寓言的寓意，答對率從56.5%降至53.4%。這項評測依據每則寓言預設的一項標準寓意計分。

研究團隊也觀察到，訓練後的模型較少使用保留式說明，更常以「應該」等語句直接下結論。回答雖然聽起來更直接、更有把握，答對率卻沒有因此提高。

研究團隊也測試了不經訓練、只在輸入中附上四個示範答案的做法。在這種設定下，選項順序造成的答案反轉率為2.1%，站在說話者一方的比例為26.8%；但採納使用者觀點的比例升至29.0%。

這項研究只涵蓋一種模型規模，各種訓練設定都只進行一次實驗；訓練所用的兩難案例，取自四本以英文寫成的19世紀西方小說。

研究團隊沒有安排人類直接評估受訓模型的論證，也沒有公開模型權重。因此，研究結果不能代表整個 Gemma-4 產品系列，也無法說明模型在其他語言環境中的道德判斷表現。

研究團隊最後指出，選項順序下的一致性，應與道德判斷是否合理分開評估。