Cloudflare har utvidet sin 'blokk AI-trening' alternativ til alle kunder, sa selskapet i et blogginnlegg. Funksjonen lar nettsteder forbli indeksert av søkemotorer samtidig som den forhindrer at innholdet deres brukes til å trene AI-modeller, og adresserer overlappen mellom søkecrawling og AI-trening.

Selskapet introduserte også en betegnelse for 'ansvarlig' crawler-operatør. For å kvalifisere seg, må operatører tilby et alternativ for å velge bort trening og AI-sammendrag, avsløre URL-nivå indekseringsstatus, og forplikte seg til at det å velge bort ikke vil påvirke søkerangeringer. Apple, Google, Microsoft, Amazon, Anthropic, Meta og OpenAI var blant enhetene som fikk betegnelsen.

Cloudflare bemerket at omtrent 17% av nettsteder har aktivert en eller annen form for treningsblokkeringsmekanisme, mens færre enn 1% for tiden blokkerer søkecrawlere.