Cloudflare a extins opțiunea sa de 'blocare a antrenamentului AI' pentru toți clienții, a declarat compania într-o postare pe blog. Funcția permite site-urilor să rămână indexate de motoarele de căutare, în timp ce împiedică utilizarea conținutului lor pentru a antrena modele AI, abordând suprapunerea dintre crawling-ul de căutare și antrenamentul AI.

Compania a introdus, de asemenea, o denumire de operator de crawler 'responsabil'. Pentru a se califica, operatorii trebuie să ofere o opțiune de renunțare pentru antrenament și rezumate AI, să dezvăluie statutul de indexare la nivel de URL și să se angajeze că renunțarea nu va afecta clasamentele în căutare. Apple, Google, Microsoft, Amazon, Anthropic, Meta și OpenAI s-au numărat printre entitățile care au primit această denumire.

Cloudflare a menționat că aproximativ 17% dintre site-uri au activat o formă de mecanism de blocare a antrenamentului, în timp ce mai puțin de 1% blochează în prezent crawlers de căutare.