Cloudflare ha esteso la sua opzione di 'blocco della formazione AI' a tutti i clienti, ha dichiarato l'azienda in un post sul blog. La funzione consente ai siti di rimanere indicizzati dai motori di ricerca mentre impedisce che i loro contenuti vengano utilizzati per addestrare modelli AI, affrontando l'intersezione tra crawling di ricerca e formazione AI.

L'azienda ha anche introdotto una designazione di operatore crawler 'responsabile'. Per qualificarsi, gli operatori devono offrire un'opzione di esclusione per la formazione e i riassunti AI, divulgare lo stato di indicizzazione a livello di URL e impegnarsi a garantire che l'esclusione non influisca sulle classifiche di ricerca. Apple, Google, Microsoft, Amazon, Anthropic, Meta e OpenAI erano tra le entità a cui è stata concessa la designazione.

Cloudflare ha osservato che circa il 17% dei siti ha abilitato qualche forma di meccanismo di blocco della formazione, mentre meno dell'1% blocca attualmente i crawler di ricerca.