OpenAI目標數月內支援AI訓練通用訊號，Google鎖定2027年跟進

OpenAI表示，將尊重網站管理者透過robots.txt傳達的AI訓練通用偏好訊號，讓網站能向多家業者表明是否同意內容用於訓練。

OpenAI於30日的官方公告指出，目標是在未來數月內實作這項訊號，具體時程與方式將另行公布。現有的各家爬蟲設定仍然有效。OpenAI表示，這是自願採取的措施，目的是減輕網站管理者分別維護多套規則的負擔。

這項通用訊號名為「__usage_ai-training」。提交至IETF的草案提議，網站管理者可在robots.txt使用這個訊號，向多家業者表達AI訓練偏好。

網站管理者可在robots.txt建立「User-Agent: __usage_ai-training」群組，並設定「Disallow: /」，表示不希望網站內容用於訓練；也能設定例外，只允許特定路徑的內容用於訓練。

草案將AI訓練定義為使用內容改變生成式AI模型訓練後參數的行為。若網站未設定這個群組，依草案規則，便視為未表明訓練偏好。

這項通用訊號不會阻止爬蟲存取網頁，各業者的爬取規則仍分開適用；草案也沒有在robots.txt新增爬取指令。

robots.txt是一種要求爬蟲遵守規則的協定，不是強制執行存取權限的安全機制。規範網路機器人排除協定的RFC 9309也明確指出，robots.txt不應被視為存取控制工具。

根據OpenAI的爬蟲說明，用於收集可能供模型訓練使用內容的GPTBot，與用於讓內容出現在ChatGPT搜尋結果中的OAI-SearchBot，設定彼此獨立。網站管理者可以拒絕訓練用途的存取，同時允許搜尋爬蟲。

因此，不能將拒絕訓練的訊號解讀為同時限制搜尋曝光，或限制AI生成回答時參考網站內容。訓練偏好與爬取規則分開處理。

本報先前曾介紹如何在維持搜尋索引的同時，限制內容供AI訓練使用。這次的通用訊號可讓多家AI業者讀取網站偏好，與逐家設定規則有所不同。

Google於30日在Google Search Central官方部落格表示，正與其他AI業者合作，目標於2027年支援這項訊號，但尚未公布具體上線日期。

Google表示，若網站透過通用訊號表明拒絕訓練，卻未另外設定Google-Extended規則，Google將把它解讀為封鎖Google-Extended。若網站已明確設定個別業者規則，原有設定仍會繼續適用。

微軟（Microsoft，MSFT）於30日在Bing官方部落格表示，將從2027年2月1日起，在爬取流程中採用新的偏好設定。微軟會分開處理AI訓練偏好，以及透過網頁內容生成回答的「grounding」偏好。

個別頁面的訓練偏好設定優先於robots.txt的全站設定。使用既有NoArchive或NoCache規則的網站，需在robots.txt或個別頁面新增偏好設定，表明限制訓練用途；若要維持grounding限制，則須在2027年3月1日前套用頁面設定及Bing Webmaster Tools的暫時設定。此後，既有規則將不再被視為訓練或grounding偏好。

微軟表示，新設定不會改變內容出現在Bing一般搜尋結果中的資格，也不保證網站能取得內容使用費或授權合約。單靠robots.txt表達偏好，並不會決定內容的使用條件。

這份IETF文件目前是個人提交的Internet-Draft，尚非定稿標準，也不是經IETF核准的文件。文件列出的預定到期日為2027年5月3日。