Cloudflare telah memperluas opsi 'blokir pelatihan AI' untuk semua pelanggan, kata perusahaan dalam sebuah posting blog. Fitur ini memungkinkan situs tetap terindeks oleh mesin pencari sambil mencegah kontennya digunakan untuk melatih model AI, mengatasi tumpang tindih antara perayapan pencarian dan pelatihan AI.

Perusahaan juga memperkenalkan penunjukan operator perayap 'bertanggung jawab'. Untuk memenuhi syarat, operator harus menawarkan opsi untuk tidak berpartisipasi dalam pelatihan dan ringkasan AI, mengungkapkan status pengindeksan tingkat URL, dan berkomitmen bahwa memilih untuk tidak berpartisipasi tidak akan memengaruhi peringkat pencarian. Apple, Google, Microsoft, Amazon, Anthropic, Meta, dan OpenAI adalah di antara entitas yang diberikan penunjukan tersebut.

Cloudflare mencatat bahwa sekitar 17% situs telah mengaktifkan beberapa bentuk mekanisme pemblokiran pelatihan, sementara kurang dari 1% saat ini memblokir perayap pencarian.