雙盲AI評測首度登場 Google DeepMind選定Gemini 2.5 Flash-Lite測試

Google DeepMind於27日（當地時間）在官方部落格宣布，已與新加坡人工智慧安全研究所、OpenMined、AVERI及MLCommons合作，針對Gemini 2.5 Flash-Lite模型進行「雙盲評測」試驗。這項計畫的目的，是降低模型提前接觸測試題目，或開發商刻意針對特定基準調整效能的疑慮。Google稱此舉為全球首次針對頂尖級專有AI模型進行的雙盲評測。

此次試驗的核心，在於同時保護「評測題目」與「模型權重」兩項敏感資料。外部評測機構提供測試提示詞（prompt），但Google無法得知內容；Google提供模型供測試，評測機構卻看不到模型權重本身。雙方資料皆在Google Cloud的機密運算環境「Confidential Space」中處理，這項技術可在資料運算過程中提供保護，降低外部存取與竄改的風險。

過去，外部評測多半仰賴合約中的保密條款，或是不保留紀錄的方式來維持公信力。但問題在於，評測機構一旦把測試題目交給開發商，題目外洩的風險就會提高；反過來，開發商若把模型權重交給外部，智慧財產外流的疑慮也隨之增加。這次試驗等於同時處理了這兩項風險，讓開發商與評測機構不必直接交換敏感資料，也能完成同一套評測作業，這也是外界關注的重點。

AVERI在另外發布的試驗報告中指出，這次評測於2026年7月至8月間進行，測試對象為Gemini 2.5 Flash-Lite，而MLCommons提供的則是安全性基準系列「AILuminate」中尚未公開使用過的提示詞。整體流程依序為提示詞加密、於機密運算環境中執行、結果解密，最後再進行評分，AVERI與Google DeepMind共同執行測試，再依標準為結果評分。

AILuminate涵蓋的安全性項目相當廣泛，包括化學、生物、放射性、核能與爆裂物風險，以及網路攻擊、仇恨言論、自我傷害、教唆暴力犯罪等領域，實際使用的提示詞與模型輸出內容則未對外公開。

AVERI表示，已將結果類型、失敗案例與量化評估數據整理成非公開報告，提交給Google DeepMind。外界解讀，這次嘗試的重點並非公開分數的高低競賽，而是評測流程本身的可信度。

AI模型的基準測試結果，經常被企業用來挑選模型、研究人員用來比較效能，也是政策制定的重要參考依據。然而，一旦測試題目混入訓練資料，或模型能夠利用評測環境留下的痕跡取巧，分數就可能高於模型真實能力。

在頂尖AI模型的評測領域，效能之外，安全驗證的方式同樣是各界關注焦點。本報先前已報導美國國內對頂尖AI模型應如何進行事前審查一事，爭論持續升溫。

這項課題同樣與包括台灣在內的企業息息相關。企業導入生成式AI與AI代理人執行業務時，很難只靠公開的基準分數挑選模型，還需一併確認測試題目是否外洩、評測機構是否具備獨立性，以及模型供應商能接觸到的資料範圍有多大。

不過，這次試驗並未解決AI評測的所有問題。AVERI坦言，目前的資安設計並不能完全杜絕開發商動手腳的可能性，在信任程度較低的高風險場景中，仍需要額外的保障機制。

Google DeepMind近來因組織改組與Gemini模型開發時程，備受市場關注。本報先前也曾報導Google DeepMind組織改組，以及次世代Gemini模型延遲推出，加深了投資人的疑慮。這次雙盲評測試驗顯示，AI模型的效能競爭，已從單純比拼分數，擴大到評測方式與驗證流程本身。