क्लाउडफ्लेयर ने अपने 'एआई प्रशिक्षण ब्लॉक' विकल्प का विस्तार सभी ग्राहकों के लिए किया है, कंपनी ने एक ब्लॉग पोस्ट में कहा। यह फीचर साइटों को खोज इंजनों द्वारा अनुक्रमित रहने की अनुमति देता है जबकि उनके सामग्री को एआई मॉडल को प्रशिक्षित करने के लिए उपयोग करने से रोकता है, जो खोज क्रॉलिंग और एआई प्रशिक्षण के बीच ओवरलैप को संबोधित करता है।

कंपनी ने 'जिम्मेदार' क्रॉलर ऑपरेटर पदनाम भी पेश किया। योग्य होने के लिए, ऑपरेटरों को प्रशिक्षण और एआई सारांशों के लिए ऑप्ट-आउट की पेशकश करनी चाहिए, यूआरएल-स्तरीय अनुक्रमण स्थिति का खुलासा करना चाहिए, और यह सुनिश्चित करना चाहिए कि ऑप्ट-आउट करने से खोज रैंकिंग पर कोई प्रभाव नहीं पड़ेगा। एप्पल, गूगल, माइक्रोसॉफ्ट, अमेज़न, एंथ्रोपिक, मेटा, और ओपनएआई उन संस्थाओं में शामिल थे जिन्हें यह पदनाम दिया गया।

क्लाउडफ्लेयर ने नोट किया कि लगभग 17% साइटों ने कुछ प्रकार के प्रशिक्षण-ब्लॉकिंग तंत्र को सक्षम किया है, जबकि वर्तमान में 1% से कम साइटें खोज क्रॉलरों को ब्लॉक करती हैं।