CALLIOPE提出AI對話分類新方法：不靠嵌入式分群，差分隱私保障以單份文件為單位

Google研究團隊提出一種不使用嵌入式分群的生成式AI對話主題分類方法。這套方法在關鍵詞統計階段採用差分隱私，但論文目前提供的保障範圍僅涵蓋單份文件。

伊迪絲·柯恩（Edith Cohen）等來自Google Research、Google與Google DeepMind的研究人員，於21日在arXiv公開CALLIOPE論文。論文介紹了從非結構化文件建立主題階層的流程與評估結果。

既有的嵌入式方法會先把句子轉成數值向量，再依語意相似度將資料分群。CALLIOPE省略這個向量分群步驟，改用大型語言模型（LLM）摘要文件、產生關鍵詞並分類主題。

流程首先由LLM為每份文件產生摘要與關鍵詞，接著統計關鍵詞出現頻率、提出主題架構，再把摘要分配到相應主題。重複這個流程後，較大的主題之下會形成細分類別。

差分隱私用於建立主題架構的關鍵詞統計階段。研究團隊會在關鍵詞頻率中加入雜訊，並過濾低頻項目，以限制單份文件內容對公開結果的影響。

提高隱私保護強度，可能使主題分類變得更廣、更粗略。研究團隊表示，相較於既有嵌入式方法，CALLIOPE在加強隱私設定時，能減少分類品質急遽下滑的情況。

不過，論文目前提供的保障單位是一份對話文件。論文指出，若要以個人為單位保護同一人多次留下的完整對話，仍需進一步研究。

Google Research曾於2025年12月10日介紹URANIA。該方法先將對話轉成嵌入向量，再套用差分隱私進行分群，之後擷取關鍵詞並以LLM摘要。Google Research當時表示，摘要階段的LLM使用的是經隱私處理的關鍵詞，而非原始對話。

CALLIOPE在主題分類流程中移除向量分群，改以摘要與關鍵詞統計為核心。但不使用嵌入向量，不代表原始對話不會傳入LLM。

研究團隊以六個資料集比較CALLIOPE、CLIO與URANIA，資料集包括多語言語料MASSIVE、銀行客戶詢問資料Banking77，以及電影評論和新聞文件等。論文使用多項指標評估各資料集的分類結果與主題描述品質。

研究團隊報告，CALLIOPE在衡量分類結果與標準類別一致程度的NMI、ARI指標，以及部分主題評估中，表現優於URANIA；在衡量群集內部結構的指標上，則與URANIA相近或更好。

論文附錄列出，在使用Gemini 3.5 Flash、主題深度最高且未啟用差分隱私的設定下，MASSIVE資料集的token用量為CALLIOPE 5億7600萬個、URANIA 1億2300萬個。這些數字僅適用於該實驗設定。

論文將每份文件都需多次執行LLM列為計算成本方面的限制。因此，這些token用量不能直接代表實際服務的營運成本或處理速度。

原始文件在第一階段就會輸入LLM，轉換成摘要與關鍵詞。公開主題結果所獲得的差分隱私保障，與原始對話在蒐集、儲存及模型處理過程中的保護，是不同的問題。

這項研究使用六個資料集進行評估，並未採用實際AI服務的私人對話紀錄。研究提出了主題分類方法與個人資料保護範圍，但沒有呈現實際服務中的應用結果。