Cloudflare與GoDaddy聯手控制AI機器人爬蟲

為了適應日益服務于AI智能體需求但卻忽視網站所有者需求的互聯網環境，Cloudflare和GoDaddy正在合作努力控制AI如何爬取網絡并與網頁內容交互。

這家內容分發網絡公司和網絡托管服務商周二宣布，他們將幫助網站所有者更好地控制與AI的關系，主要通過GoDaddy將Cloudflare的AI爬蟲控制工具整合到其平臺中。正如兩家公司在新聞稿中解釋的那樣，該工具讓所有者能夠管理AI如何與他們的網站交互，允許、阻止或要求爬蟲付費訪問。

"通過將AI爬蟲控制等工具和開放標準交到網站所有者手中，我們正在為新的互聯網商業模式提供重要基礎，"Cloudflare首席策略官Stephanie Cohen就此舉表示。"我們希望確保每個創作者都有工具來驗證誰在與他們的網站交互，同時為合法的AI智能體提供安全、透明的參與方式。"

Cloudflare一直在大力宣傳控制機器人訪問網站和網頁內容的必要性，近年來已推出了多項旨在限制未授權抓取的措施。2025年，該公司推出了一個AI，據稱能夠通過向未授權的AI抓取器提供無窮無盡的垃圾信息來誘捕并浪費它們的時間，此前還推動要求AI機器人為訪問網站付費。

向機器人收費是Cloudflare幫助保護網站運營商的想法之一，該CDN公司注意到，由于許多搜索訪問者現在改為通過AI（如Google的AI概覽）獲得他們尋找的答案，網站運營商正在失去通過網絡流量賺取的大量資金。因此，訪問者通常不太可能點擊進入原始來源。

顯然，這兩家公司在這個問題上都有利益關系，因為如果網站所有者不賺錢，他們自己也不太可能得到報酬。

良性機器人應對之道

如果你設置路障來阻止惡性機器人，正如兩家公司指出的那樣，這是此次合作的重點，那么你自然會在這個過程中捕獲很多良性機器人，這就是為什么Cloudflare和GoDaddy也表示支持新標準，他們相信這些標準將保持良性機器人運行，同時限制惡性機器人的覆蓋范圍。

兩家公司表示支持智能體名稱服務（ANS），這是去年提出的一個建議，它將像AI智能體的DNS系統一樣工作，創建一個開放的、協議無關的AI智能體注冊表，通過將它們鏈接到控制器等方式，讓它們能夠以一定程度的信任和保證運行。

我們注意到，ANS最終是由GoDaddy構建的，并在GitHub上可用。兩家公司還支持Cloudflare的Web Bot Auth方法，該方法依賴HTTP消息中的加密簽名來確定請求是否來自AI機器人。兩家公司表示，這兩種技術允許AI智能體通過加密簽名請求來識別自己。

"通過開放的標準和方法生態系統來識別智能體，智能體網絡可以在默認情況下內置透明度地發展，"兩家公司說。

Cloudflare和GoDaddy還指出，他們希望確保"在答案引擎時代實現公平的價值交換"，這本質上意味著他們希望互聯網仍然是一個以人為本的地方，我們這些血肉之軀能夠因為對數字世界的貢獻而得到充分的補償。

當然，對這些標準的支持并不意味著每個人都會采用它們，但如果Cloudflare和GoDaddy的客戶都能訪問，那么網絡的很大一部分可能都會被覆蓋。據估計，全球約20%的網站都在Cloudflare反向代理之后，而GoDaddy也是一個龐大的網絡托管提供商。

這還不是AI智能體標準被認為是標準的關鍵質量，但這是一個開始。這也比Sam Altman的眼球掃描AI智能體許可方案更有可能成功。

無論如何，必須盡快采取行動：MIT CSAIL的2025年AI智能體指數于2月發布，發現AI機器人經常忽略robots.txt限制，很少有人發布任何安全數據。隨著它們的激增和改變互聯網形態，需要普遍認同的規則。

Q&A

Q1：AI爬蟲控制工具是什么？它能做什么？

A：AI爬蟲控制工具是Cloudflare開發的一個實用程序，讓網站所有者能夠管理AI如何與他們的網站交互，可以選擇允許、阻止或要求爬蟲付費訪問。現在GoDaddy正在將這個工具整合到其平臺中。

Q2：為什么網站所有者需要控制AI機器人訪問？

A：因為許多搜索訪問者現在通過AI（如Google的AI概覽）直接獲得答案，而不是點擊進入原始網站，導致網站運營商失去了通過網絡流量賺取的大量資金，影響了他們的收益。

Q3：智能體名稱服務ANS是什么？

A：ANS是由GoDaddy構建的一個提案，類似于AI智能體的DNS系統，創建開放的、協議無關的AI智能體注冊表，通過將智能體鏈接到控制器等方式，讓它們能夠以一定程度的信任和保證運行。