自動化流量占57.4%：Cloudflare推動AI爬蟲付費

網路流量逾半由非人類的自動化請求構成，依賴廣告的網路收益模式正面臨動搖。Cloudflare($NET)推出「Pay Per Crawl」功能，讓網站營運者選擇允許或封鎖AI爬蟲，或設定內容使用費。

Cloudflare Radar統計顯示，2026年6月全球HTML請求中，自動化流量占57.4%，人類流量占42.6%。這項數據以Cloudflare網路觀測到的請求為基準，並非對整個網際網路流量進行全面調查。

自動化流量包含搜尋引擎爬蟲、安全工具、惡意機器人與AI代理。因此，自動化請求超過人類請求，不能直接解讀為AI流量已占網路流量的57.4%。

Cloudflare 2026年6月報告指出，在已識別為AI訓練用途的爬蟲請求中，AI訓練占52%。這一比例高於2025年春季的22%；同時執行搜尋、代理與AI訓練的混合型爬蟲，則占整體爬蟲活動的36%以上。

馬修・普林斯(Matthew Prince) Cloudflare共同創辦人兼CEO表示，自動化流量超越人類流量的時間點早於原先預期。他曾預估轉折點會落在2027年下半年，後來提前至2027年上半年，但實際上這一轉折已在2026年5月出現。

普林斯表示，傳統網路收益模式是搜尋引擎將訪客導向網站，再由內容業者取得廣告收入。但若AI服務先收集網路內容，再直接向使用者提供答案，內容雖被消費，原始網站的訪問量可能下降。

TokenPost先前報導Cloudflare網路中的機器人請求比例在2026年5月約占60%後，這次統計進一步涵蓋自動化請求的細部分類，以及AI爬蟲的管理方式。

Cloudflare提出不必一律封鎖AI爬蟲，而是將其分為允許、封鎖與收費對象。「Pay Per Crawl」可讓網站營運者為AI爬蟲存取內容設定價格。

當爬蟲表明願意支付費用時，網站便提供內容；若不願支付，則透過HTTP 402回應告知價格。網站營運者可在封鎖請求與要求內容使用費之間作出選擇。

截至2026年7月28日，「Pay Per Crawl」仍處於非公開測試階段。Cloudflare表示將提供支付中介與技術基礎設施，但實際參與規模、累計支付金額及各內容的定價方式尚未公開。

Cloudflare也將區分搜尋、代理與AI訓練爬蟲的管理功能擴大至免費方案。不過，若同一爬蟲執行多種用途，或未準確標示請求目的，網站營運者仍難以判斷內容最終用途。

搜尋流量分配引發的衝突也仍未解決。尼爾・沃格爾(Neil Vogel) People Inc. CEO表示：「若要維持搜尋流量，就不能封鎖該爬蟲。」

他的說法是，若Google在搜尋與AI服務中使用同一爬蟲，發布者將難以只封鎖AI資料收集。阻止AI訓練的要求，可能與維持搜尋曝光的需求，在同一存取路徑上發生衝突。

Cloudflare也在測試「Pay Per Use」模式，不以爬取次數，而是以內容實際被使用的程度作為補償依據。業界另提出「pay-per-query」模式，在內容出現在搜尋結果時向發布者提供補償。

這些模式試圖以技術連結網路內容的存取權限與補償結構。然而，如何驗證爬蟲的實際用途、由誰評估內容價值，以及AI企業應依何種標準負擔費用，仍未形成共識。

以目前確認的進度來看，尚難判斷Cloudflare的付費爬蟲功能將取代廣告，或為內容業者提供穩定收益。非公開測試階段的實際付款情況與參與規模如何擴大，將成為下一個觀察重點。