17%網站已封鎖AI訓練，Cloudflare公開新設定

Cloudflare（NET）向全體客戶提供新設定，讓網站營運商在保留搜尋索引的同時，拒絕內容被用於人工智慧（AI）訓練。

Cloudflare於15日公布「Disallow AI Training」設定，用於區分同時執行搜尋與AI模型訓練的混合型爬蟲。

Cloudflare表示，其網站中約17%已以某種形式封鎖AI訓練爬取；封鎖搜尋爬蟲的網站則不到1%。

網站營運商選擇拒絕AI訓練後，Cloudflare會將相關意願發布至robots.txt。符合條件的混合型爬蟲仍可為建立搜尋索引而存取網站，但專門用於訓練的爬蟲將遭封鎖。

若選擇封鎖所有相關爬蟲的「Block」，搜尋存取也會一併被阻擋。網站營運商可依是否要分開管理搜尋流量與內容的AI訓練用途調整設定。

Cloudflare以搜尋、訓練及代理程式分項設定，取代原有的「Block AI Bots」功能。代理程式是指代替使用者瀏覽網頁的自動化工具。

Cloudflare建議，廣告支援型網站可拒絕訓練爬蟲，在顯示廣告的頁面封鎖代理程式，同時允許搜尋存取。新網域則會依營收模式套用不同的預設設定。

Cloudflare也提出爬蟲營運商的責任標準，包括提供拒絕AI訓練與拒絕AI摘要的方式、公開以URL為單位的內容使用狀況，以及確認拒絕訓練不會影響傳統搜尋結果。

Apple（AAPL）、Google（GOOGL）及Microsoft（MSFT）被列為已符合，或承諾在指定期限內符合上述標準的營運商。Amazon（AMZN）、Anthropic、Meta（META）及OpenAI則因分開運作搜尋與訓練爬蟲，被列入負責任營運商範圍。

Cloudflare表示，同時執行搜尋與AI訓練的混合型爬蟲，占其網路已辨識爬蟲流量的36.6%。Cloudflare指出，因此有必要依內容使用目的分別管理，而不是只提供單一封鎖按鈕。

這項措施反映AI服務在搜尋、摘要及訓練過程中，內容提供者希望細分控制範圍的趨勢。台灣方面，網路入口網站Naver先前也曾公布限制搜尋API資料用於AI訓練及回答的政策。

不過，AI摘要的控制目前仍須依各爬蟲營運商分別設定。Cloudflare計畫在明年初前推出集中式功能，讓網站營運商從單一介面調整可被納入AI摘要的內容範圍。