ক্লাউডফ্লেয়ার তার 'AI প্রশিক্ষণ ব্লক' বিকল্পটি সমস্ত গ্রাহকের জন্য সম্প্রসারিত করেছে, কোম্পানিটি একটি ব্লগ পোস্টে বলেছে। এই বৈশিষ্ট্যটি সাইটগুলিকে অনুসন্ধান ইঞ্জিন দ্বারা সূচীকৃত থাকতে দেয়, যখন তাদের বিষয়বস্তু AI মডেলগুলি প্রশিক্ষণের জন্য ব্যবহৃত হওয়া থেকে রোধ করে, অনুসন্ধান ক্রলিং এবং AI প্রশিক্ষণের মধ্যে ওভারল্যাপের সমাধান করে।

কোম্পানিটি একটি 'দায়িত্বশীল' ক্রলার অপারেটর নামকরণও পরিচয় করিয়ে দিয়েছে। যোগ্য হতে, অপারেটরদের প্রশিক্ষণ এবং AI সারাংশের জন্য একটি অপ্ট-আউট অফার করতে হবে, URL-স্তরের সূচীকরণ স্থিতি প্রকাশ করতে হবে, এবং অপ্ট-আউট করা অনুসন্ধান র‌্যাঙ্কিংকে প্রভাবিত করবে না তা নিশ্চিত করতে হবে। অ্যাপল, গুগল, মাইক্রোসফট, অ্যামাজন, অ্যানথ্রোপিক, মেটা, এবং ওপেনএআই নামকরণের অধিকারী সংস্থাগুলির মধ্যে ছিল।

ক্লাউডফ্লেয়ার উল্লেখ করেছে যে প্রায় 17% সাইট কিছু ধরনের প্রশিক্ষণ-ব্লকিং মেকানিজম সক্ষম করেছে, যখন বর্তমানে 1% এরও কম সাইট অনুসন্ধান ক্রলারগুলি ব্লক করে।