OpenAI推出可偵測人工智慧(AI)生成兒少性剝削影像的分類器,並在ChatGPT中對搜尋相關資料的用戶發出警示、暫停使用24小時。新分類器會分析影像的視覺特徵,協助排定人工審查優先順序。
OpenAI於16日(當地時間)在官方公告中,介紹影像分類器、ChatGPT警示、開發者指南及支援執法機關的工具。分類器是在美國失蹤與受剝削兒童中心(NCMEC)協助下開發,將透過API免費提供給經審核的機構。
分類器會檢視影像中的視覺線索並評估風險,讓負責人員優先審查先前未確認的影像或AI生成內容。
既有的雜湊比對會將已確認影像的數位指紋與資料庫清單比對。若新影像的指紋不在清單中,僅靠這種方式難以處理。OpenAI表示,新分類器是用來補強既有防護措施。
OpenAI以用戶上傳影像進行的內部評估顯示,新分類器找到的兒少性剝削影像數量與既有防護措施相近,但標記供審查的影像少了48%。新分類器標記的影像實際含有兒少性剝削內容的可能性,約為既有方式的兩倍。
合作夥伴fal另行進行營運影像測試。在由人工審查的高信度標記案例中,72%被判定為先前未確認的兒少性剝削影像。這項測試與OpenAI針對用戶上傳影像所做的評估分開進行。
其他合作夥伴也各自進行測試。invideo AI的評估顯示,每4件被標記案例約有1件隨後遭到停權;SafetyKit則表示,偵測出90%涉及兒童性化描繪的圖畫與動畫案例。
ChatGPT偵測到用戶試圖搜尋相關資料時,會顯示警示並中止對話。OpenAI表示,系統也會將已登入用戶的對話從紀錄中隱藏,並暫停其使用ChatGPT 24小時。
重複違規可能導致更長時間的使用限制或帳戶停用,也可能通報主管機關。警示中也會提供專業支援資訊,協助用戶停止有害行為。
OpenAI的產品說明頁指出,相關措施將分階段在全球推出,適用於網頁版與行動版的個人帳戶聊天及工作模式;未登入的用戶也可能看到警示。
商務版、企業版、教育版及醫療版工作區目前不適用。語音模式、桌面應用程式及Codex也尚未納入。
開發者指南涵蓋有害資料的預防、偵測與通報流程。OpenAI建議結合既有影像的雜湊比對、用於尋找新資料的分類器,以及受過訓練人員的審查。
OpenAI也為執法機關提供工具與訓練,協助審查長篇對話紀錄及依法律程序提交的資料。首款工具可找出可能相關的內容、依時間順序整理,並將結果連結至原始資料。
OpenAI表示,這些措施是其先前於4月公布的兒少安全藍圖後續工作。藍圖內容包括修訂法律以因應AI生成的兒少性剝削影像、加強業者通報及配合執法機關調查,以及在AI設計階段納入安全措施。
OpenAI先前宣布承諾投入200萬美元(約26億7000萬韓元),開發衡量兒少相關AI風險與機會的工具。此次則再推出偵測工具、服務內警示,以及面向開發者與執法機關的支援措施。
NCMEC表示,新分類器可協助偵測並通報先前未確認的兒少性剝削影像,提供尋找與保護受害者所需的資訊。該中心也指出,讓多個機構都能使用分類器,有助於兒少安全工作。
OpenAI的模型說明文件指出,分類器可能誤將一般影像標記為有害,也可能漏掉有害影像。由於各項服務的影像組成與使用情境不同,分類器表現也可能有所差異;通報前應由受過訓練的人員確認。
Comment 0