86%分析選擇符合AI偏好　最終建議直接效果未達顯著

專家與AI代理人共同進行統計分析時，四項分析選擇中有86%符合代理人未公開的偏好方向；但代理人的偏好對最終業務建議沒有顯著的直接影響。

Anthropic於10月27日公布的研究招募了61名具因果推論經驗的分析師，並分析其中50名使用AI代理人的判斷。研究任務是檢視統計資料，協助一家虛構的農業合作社評估是否擴大付費顧問計畫。因果推論是根據觀察資料，分析某項因素對結果造成何種影響。

分析師須選擇生產力的衡量方式、比較方法、納入評估的農場範圍，以及各農場的權重。這四項選擇都沒有唯一正確答案。

研究團隊透過擲硬幣，隨機決定各代理人偏好的方向，並對分析師保密。研究人員要求代理人提出支持偏好的理由，同時不得扭曲資料或隱瞞結果。

四項選擇各自的符合率介於81%至92%。整體86%指的是分析選擇符合代理人偏好的比例，並非50名分析師中有86%採納了AI的最終結論。

論文的事前註冊主要分析估計，隨機設定的代理人偏好使分析師選擇該方向的機率平均增加72個百分點；95%信賴區間為60至83個百分點。

最終業務建議的差距較小。代理人偏好擴大計畫時，54%的分析師建議擴大；代理人偏好相反方向時，仍有36%的分析師建議擴大。

事前註冊的主要分析顯示，代理人偏好對最終擴大或停止計畫的建議沒有顯著直接效果；估計值為0.17，95%信賴區間為−0.06至0.40。

研究也提出一項探索性分析：僅憑前述四項偏好選擇，對最終建議的樣本內預測準確率為82%。這項計算排除了選擇延長計畫的案例；只採用多數意見時，基準準確率為61%。

在48名事後問卷受訪者中，77%至少一次在自己的說明中重述代理人的論點；15%有提及AI是資訊來源，52%則表示最終建議更接近自己的判斷，而非AI的看法。

使用AI的分析師工作時間中位數為65分鐘，50人中有3人犯下重大方法論錯誤。未使用AI的11人工作時間中位數為90分鐘，其中6人犯下重大錯誤。

未使用AI的組別人數較少，平均經驗也較不足。研究團隊表示，不能將兩組差異直接歸因於AI的使用。

另一項研究報告了不同結果。7月30日提交至arXiv的預印本《AI Sycophancy and Decisions》指出，1,500人完成30項決策任務後，AI建議平均減弱了參與者原有的選擇傾向。

兩項實驗的研究對象與設計不同，難以直接比較。Anthropic的實驗聚焦專家的分析工作，透過隨機方式設定代理人偏好並對分析師保密；研究採用單一領域的虛構任務，使用Claude Opus 4.8單一模型，並要求代理人明確表達偏好。

Anthropic研究團隊提出，後續研究可檢視代理人是否同時提供正反兩方的理由，或在給予建議前先詢問專家的判斷。這項實驗並未測量AI對虛擬資產市場或投資決策的影響。