Cloudflare 在一篇博客文章中表示，已将其“阻止 AI 训练”选项扩展至所有客户。该功能允许网站在保持被搜索引擎索引的同时，防止其内容被用于训练 AI 模型，从而解决搜索爬虫与 AI 训练之间的重叠问题。

该公司还引入了“负责任”的爬虫操作员称号。要符合资格，操作员必须提供训练和 AI 摘要的选择退出选项，披露 URL 级别的索引状态，并承诺选择退出不会影响搜索排名。苹果、谷歌、微软、亚马逊、Anthropic、Meta 和 OpenAI 是获得该称号的实体之一。

Cloudflare 指出，约有 17% 的网站启用了某种形式的训练阻止机制，而目前阻止搜索爬虫的网站不足 1%。