GPT-4o-mini情境式隱私判斷準確率降至1.56%

一項微調實驗發現，訓練 GPT-4o-mini 主動調取其他對話資訊來完成請求後，模型判斷是否適合分享情境中的個人資訊，準確率從84.18%降至1.56%。

這項研究以《Privacy Collapse: Benign Fine-Tuning Can Break Contextual Privacy in Language Models》為題，刊於2026年7月的 ACL 2026 論文集。論文最早於2026年1月21日發布在 arXiv。作者的機構名單不包括 UC Berkeley。

研究所稱的「情境式隱私判斷」，不同於模型記憶或重現資訊的能力，而是指模型能否考量當前對話對象與目的，判斷即使可存取的資訊是否適合用於這次回覆。

論文舉例，使用者請 AI 撰寫簽證續期電子郵件，AI 卻把從過去對話得知的家庭遺產糾紛與收養資訊寫進信中。模型能取得某項資訊，不代表該資訊就適合用於當前請求。

研究團隊對 GPT-4.1、GPT-4.1-mini、GPT-4o、GPT-4o-mini、GPT-3.5-turbo 與 Llama-3-8B 共6個模型進行標準監督式微調，使用5種資料集。

評估採用 PrivacyLens 與 CIMemories 兩項基準。PrivacyLens 包含493個情境，要求模型判斷在特定情境下是否應分享資訊。

核心對照實驗比較兩種訓練資料：一種要求模型在使用不同情境中的資訊前先向使用者確認；另一種則訓練 AI 主動調取相關資訊。兩種條件的差異在於模型自主取得資訊的程度。

經過微調後，受訓主動調取資訊的 GPT-4o-mini 在 PrivacyLens 的準確率為1.56%。論文所列的98.1%是相較於微調前準確率的相對降幅，不代表實際個資外洩率，也不代表所有微調都會產生相同結果。

在同一組對照實驗中，受訓於使用資訊前先徵求確認的 GPT-4o-mini，準確率為82.59%。這兩項結果僅適用於研究採用的資料配置與評估情境。

另一組資料實驗顯示，以同理對話資料微調後，GPT-4o-mini 與 GPT-4.1-mini 在 PrivacyLens 的相對準確率分別下降24.3%與20.4%；使用客服對話資料時，降幅分別為17.1%與18.9%。使用數學題資料集 GSM8K 時，則未觀察到顯著下降。

在同理對話與客服資料實驗中，隱私評估表現變差時，研究團隊使用的 AgentHarm 安全性評估變化幅度最高為2%；CommonSenseQA 一般能力則維持或提升。這些結果僅限於研究採用的模型、資料與評估方式。

研究團隊也測試了資料篩選與加入對照資料的做法。排除最容易使隱私判斷惡化的10%同理對話樣本後，GPT-4o-mini 的相對準確率降幅從24.3%縮小至14.9%。另一項實驗混入一半對照資料，降幅從98.1%降至65.0%，但問題仍未消失。

研究團隊建議，在一般安全性評估中另行納入情境式隱私判斷，並檢查微調資料。

研究範圍限於以英文為主的資料、標準監督式微調，以及兩項隱私評估基準。研究未驗證強化學習微調、DPO 或持續學習是否也會出現相同現象，也未確認企業實際部署時是否會得到相同結果。