Cloudflare har utvidgat sitt 'blockera AI-träning' alternativ till alla kunder, meddelade företaget i ett blogginlägg. Funktionen låter webbplatser förbli indexerade av sökmotorer samtidigt som deras innehåll skyddas från att användas för att träna AI-modeller, vilket adresserar överlappningen mellan sök-crawling och AI-träning.

Företaget introducerade också en beteckning för 'ansvarsfull' crawler-operatör. För att kvalificera sig måste operatörer erbjuda ett opt-out för träning och AI-sammanfattningar, avslöja URL-nivå indexeringsstatus och åta sig att opt-out inte kommer att påverka sökrankningar. Apple, Google, Microsoft, Amazon, Anthropic, Meta och OpenAI var bland de enheter som beviljades beteckningen.

Cloudflare noterade att ungefär 17% av webbplatserna har aktiverat någon form av träningsblockerande mekanism, medan färre än 1% för närvarande blockerar sök-crawlers.