Cloudflare hat die Option zur 'Blockierung von KI-Training' für alle Kunden erweitert, teilte das Unternehmen in einem Blogbeitrag mit. Die Funktion ermöglicht es Websites, von Suchmaschinen indexiert zu bleiben, während verhindert wird, dass ihre Inhalte zum Trainieren von KI-Modellen verwendet werden, und adressiert die Überschneidung zwischen Such-Crawling und KI-Training.

Das Unternehmen führte auch eine Bezeichnung für 'verantwortliche' Crawler-Betreiber ein. Um sich zu qualifizieren, müssen Betreiber eine Opt-out-Option für Training und KI-Zusammenfassungen anbieten, den Indexierungsstatus auf URL-Ebene offenlegen und sich verpflichten, dass das Opt-out keine Auswirkungen auf die Suchrankings hat. Apple, Google, Microsoft, Amazon, Anthropic, Meta und OpenAI gehörten zu den Organisationen, die diese Bezeichnung erhalten haben.

Cloudflare stellte fest, dass etwa 17 % der Websites eine Form von Trainingsblockierungsmechanismus aktiviert haben, während weniger als 1 % derzeit Suchcrawler blockieren.