Cloudflare ได้ขยายตัวเลือก 'บล็อกการฝึก AI' ให้กับลูกค้าทุกคน บริษัทกล่าวในโพสต์บล็อก ฟีเจอร์นี้ช่วยให้เว็บไซต์ยังคงถูกจัดทำดัชนีโดยเครื่องมือค้นหาในขณะที่ป้องกันไม่ให้เนื้อหาของพวกเขาถูกนำไปใช้ในการฝึกโมเดล AI ซึ่งช่วยแก้ไขปัญหาความทับซ้อนระหว่างการค้นหาและการฝึก AI

บริษัทยังได้แนะนำการกำหนดสถานะของผู้ดำเนินการ Crawler ที่ 'รับผิดชอบ' เพื่อให้มีคุณสมบัติ ผู้ดำเนินการต้องเสนอการเลือกไม่เข้าร่วมสำหรับการฝึกและสรุป AI เปิดเผยสถานะการจัดทำดัชนีในระดับ URL และให้คำมั่นว่าการเลือกไม่เข้าร่วมจะไม่ส่งผลต่ออันดับการค้นหา Apple, Google, Microsoft, Amazon, Anthropic, Meta และ OpenAI เป็นหนึ่งในหน่วยงานที่ได้รับการกำหนดสถานะนี้

Cloudflare ระบุว่าประมาณ 17% ของเว็บไซต์ได้เปิดใช้งานกลไกการบล็อกการฝึกในรูปแบบใดรูปแบบหนึ่ง ในขณะที่มีน้อยกว่า 1% ที่บล็อก Crawler การค้นหาในปัจจุบัน