클라우드플레어는 블로그 게시물에서 모든 고객에게 'AI 훈련 차단' 옵션을 확대했다고 밝혔습니다. 이 기능은 사이트가 검색 엔진에 의해 색인화되도록 유지하면서 콘텐츠가 AI 모델 훈련에 사용되는 것을 방지하여 검색 크롤링과 AI 훈련 간의 겹침 문제를 해결합니다.

회사는 또한 '책임 있는' 크롤러 운영자 지정을 도입했습니다. 자격을 갖추기 위해 운영자는 훈련 및 AI 요약에 대한 옵트아웃을 제공하고, URL 수준의 색인화 상태를 공개하며, 옵트아웃이 검색 순위에 영향을 미치지 않을 것이라고 약속해야 합니다. 애플, 구글, 마이크로소프트, 아마존, 안트로픽, 메타, 오픈AI 등이 이 지정을 받은 기관들입니다.

클라우드플레어는 약 17%의 사이트가 어떤 형태의 훈련 차단 메커니즘을 활성화했으며, 현재 1% 미만이 검색 크롤러를 차단하고 있다고 언급했습니다.