Cloudflare е разширил опцията си 'блокиране на AI обучение' за всички клиенти, заяви компанията в публикация в блога. Функцията позволява на сайтовете да останат индексирани от търсачките, докато предотвратява използването на тяхното съдържание за обучение на AI модели, като адресира припокриването между търсене и AI обучение.

Компанията също така въведе обозначение за 'отговорен' оператор на краулер. За да отговарят на условията, операторите трябва да предлагат опция за отказ от обучение и AI резюмета, да разкриват статус на индексиране на ниво URL и да се ангажират, че отказът няма да повлияе на класирането в търсенето. Apple, Google, Microsoft, Amazon, Anthropic, Meta и OpenAI бяха сред субектите, получили това обозначение.

Cloudflare отбеляза, че приблизително 17% от сайтовете са активирали някаква форма на механизъм за блокиране на обучение, докато по-малко от 1% в момента блокират търсещи краулери.