Cloudflare har udvidet sin 'blok AI-træning' mulighed til alle kunder, sagde virksomheden i et blogindlæg. Funktionen lader sider forblive indekseret af søgemaskiner, mens den forhindrer, at deres indhold bruges til at træne AI-modeller, hvilket adresserer overlapningen mellem søge-crawling og AI-træning.

Virksomheden introducerede også en betegnelse for 'ansvarlig' crawler-operatør. For at kvalificere sig skal operatører tilbyde en mulighed for at fravælge træning og AI-sammendrag, afsløre URL-niveau indekseringsstatus og forpligte sig til, at fravalg ikke vil påvirke søgeplaceringer. Apple, Google, Microsoft, Amazon, Anthropic, Meta og OpenAI var blandt de enheder, der fik tildelt betegnelsen.

Cloudflare bemærkede, at cirka 17% af siderne har aktiveret en form for træningsblokkeringsmekanisme, mens færre end 1% i øjeblikket blokerer søge-crawlere.