Cloudflare heeft zijn 'blokkeer AI-training' optie uitgebreid naar alle klanten, aldus het bedrijf in een blogpost. De functie stelt sites in staat om geïndexeerd te blijven door zoekmachines terwijl hun inhoud wordt beschermd tegen gebruik voor het trainen van AI-modellen, en pakt de overlap aan tussen zoekcrawlen en AI-training.

Het bedrijf introduceerde ook een 'verantwoordelijke' crawler operator aanduiding. Om in aanmerking te komen, moeten operators een opt-out aanbieden voor training en AI-samenvattingen, de URL-niveau indexeringsstatus openbaar maken, en zich verplichten dat het opt-out geen invloed zal hebben op zoekrangschikkingen. Apple, Google, Microsoft, Amazon, Anthropic, Meta en OpenAI waren enkele van de entiteiten die de aanduiding kregen.

Cloudflare merkte op dat ongeveer 17% van de sites een vorm van training-blokkade mechanisme heeft ingeschakeld, terwijl minder dan 1% momenteel zoekcrawlers blokkeert.