Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

輸出 Token 數最高差 44.3%:AI 語氣實驗結果

同一個問題改用不同語氣提問,AI 模型產生的輸出 Token 數也會改變,最大差距達 44.3%。準確率的變化則因模型而異;這項數據不代表用戶實際支付的費用差異。

賓州州立大學(Pennsylvania State University)研究團隊在 7 月 27 日公開的預印本中公布實驗結果。預印本是尚未經學術期刊或研討會審查、刊登的論文。

研究團隊將 570 道英文選擇題改寫成七種語氣,分別交由四款模型作答:ChatGPT 4o、ChatGPT 5-nano、Gemini 2.5 Flash 和 Gemini 2.5 Flash-Lite。每種條件各重複測試 10 次。

輸出量差距最大的 Gemini 2.5 Flash-Lite,在禮貌語氣下平均產生 2,195.24 個 Token,中性語氣下則為 1,221.76 個,兩者相差 973.5 個 Token。研究報告的最大輸出量變動幅度為 44.3%。

以相同方式計算,ChatGPT 4o 的不同語氣輸出量差距為 23.2%,ChatGPT 5-nano 為 13.1%,Gemini 2.5 Flash 為 23%。44.3% 是四款模型中最大的差距。

研究團隊以生成回答時使用的輸出 Token 數,作為估算成本的替代指標;實驗並未測量實際帳單金額或耗電量。

實際費用也會受到輸入 Token 數和各模型定價方式影響。由於不同模型計算 Token 的方式不一,研究團隊沒有比較模型間的絕對數值,而是觀察各模型內不同語氣造成的差異。

所有模型都收到相同指示:逐步說明答案理由,並在最後標示一個正確選項。Gemini 模型的額外思考 Token 配額設為 0;在這項設定下,測得的輸出 Token 數相當於畫面上顯示的回答篇幅。

準確率也會隨語氣改變,但各模型的變化方向不盡相同。ChatGPT 4o 在粗魯語氣下的準確率為 89.04%,中性語氣下為 87.84%。

Gemini 2.5 Flash-Lite 在中性語氣下的準確率為 88.25%,粗魯語氣下為 85.26%;Gemini 2.5 Flash 在中性語氣下為 90.12%,粗魯語氣下為 87.65%。

實驗中的語氣指示和回答方式並未完全分開。中性條件要求模型只回答正確選項的字母,粗魯條件則要求省略補充說明。

因此,這些結果難以單獨歸因於辱罵用語的效果。實驗也只涵蓋英文選擇題和四款模型,不能據此推論相同結果適用於中文對話或各類開放式問題。

同一研究團隊在 2025 年的先前實驗中,曾以五種語氣詢問 ChatGPT 4o 50 道數學、科學和歷史選擇題。當時,極度粗魯語氣下的準確率為 84.8%,極度禮貌語氣下則為 80.8%。

研究團隊另有一篇在研討會發表的論文,也發現語氣與準確率存在差異。在該論文的 570 題實驗中,ChatGPT 4o 在粗魯、中性和威脅性語氣下的準確率分別為 81.3%、81.0% 和 79.3%。

同一篇論文中,ChatGPT 5-nano 在中性語氣下的準確率為 82.4%,威脅性語氣下為 71.2%。由於 2025 年實驗和這篇研討會論文採用的題目與條件不同,不能與本次輸出 Token 研究的數據合併比較。

Anthropic 在 10 月 8 日公布的使用政策修訂說明中表示,禁止持續且不必要地虐待模型。新條款於 11 月 12 日生效,但一般性的抱怨、反駁,以及模型測試和研究不在適用範圍內。

另有一項針對美國用戶樣本的調查發現,33% 的受訪者至少曾一次對聊天機器人使用髒話或侮辱性措辭。本報曾報導美國用戶的聊天機器人使用調查與 Anthropic 政策。

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1