ستقوم Cloudflare بتصفية برامج زحف الويب التي تخدم شركات الذكاء الاصطناعي

أعلنت Cloudflare عن خطط لحظر برامج زحف الويب متعددة الاستخدامات تلقائيًا التي تقوم بفهرسة مواقع الويب لمحركات البحث والعمل كوكلاء ومدربين للذكاء الاصطناعي في نفس الوقت. عرضت الشركة في السابق على عملائها القدرة الاختيارية على منع برامج الزحف من مسح مواقعهم بحثًا عن روبوتات الدردشة المدعومة بالذكاء الاصطناعي، ولكن الآن أصبح موقف Cloudflare أكثر دفاعية بشكل افتراضي.

وقال ماثيو برينس، الرئيس التنفيذي والمؤسس المشارك لشركة Cloudflare، في بيان: “الآن بعد أن أصبحت غالبية حركة المرور على الإنترنت غير بشرية، يجب علينا أن نذهب إلى أبعد من ذلك ونتصرف بشكل أسرع حتى يمكن ظهور نظام بيئي مستدام”. “توفر أدوات وشراكات Cloudflare الجديدة لأصحاب مواقع الويب مزيدًا من الرؤية والفرص التجارية وتفيد شركات الذكاء الاصطناعي التي لديها روبوتات ذات نية واضحة وشفافة. ونأمل أن تشجع التغييرات الافتراضية المقترحة برامج الزحف ذات الاستخدام المختلط على فصل البحث عن استخدام الوكلاء والتدريب.”

تُستخدم حركة مرور الويب للإشارة إلى أن الأشخاص كانوا يشاهدون إعلانات موقع ويب أو يدفعون مقابل اشتراكاته، ولكن شعبية نماذج الذكاء الاصطناعي التي يمكنها زيارة المواقع نيابة عن المستخدم للحصول على معلومات محدثة أدت إلى قلب هذا النظام رأسًا على عقب. يعد نهج Cloudflare الجديد بمثابة محاولة لإعادة توازن العلاقة بطريقة عادلة لكل من شركات الذكاء الاصطناعي وأي شخص يدير موقعًا على الويب.

اعتبارًا من 15 سبتمبر 2026، سيتم تعيين العملاء الجدد ومواقع الويب الجديدة من المشتركين الحاليين في Cloudflare بشكل افتراضي “للسماح بالبحث مع حظر التدريب واستخدام الوكيل للصفحات التي تحتوي على إعلانات”. برامج الزحف متعددة الاستخدامات التي لا تمنح مالكي المواقع خيار اختيار ما إذا كان موقعهم سيتم استخدامه للذكاء الاصطناعي، سيتم أيضًا حظرها على الصفحات التي تحتوي على إعلانات بشكل افتراضي. وسيقوم المستخدمون الذين لديهم حسابات مجانية أيضًا بالتبديل إلى هذه الإعدادات الافتراضية ما لم يقوموا بإلغاء الاشتراك قبل الموعد النهائي في 15 سبتمبر، وفقًا للشركة.

وكجزء من هذه التغييرات، تطلق Cloudflare أيضًا إصدارًا جديدًا من ميزة Pay Per Crawl التي قدمتها في عام 2025 والتي سمحت لمواقع الويب بحظر برامج زحف الويب التي تعمل بالذكاء الاصطناعي بشكل افتراضي ما لم تدفع الشركات مقابل استخراج محتواها. تُسمى هذه الميزة الآن “الدفع لكل استخدام”، وبدلاً من الدفع على أساس ما إذا تم الزحف إلى صفحة ويب، تقول Cloudflare إن مالكي المواقع سيتم الدفع لهم عندما يظهر المحتوى الخاص بهم في الإجابات من روبوتات الدردشة المدعومة بالذكاء الاصطناعي. يذكر الإعلان فقط الشراكات مع Ceramic.AI وYou.com، ولكن من المحتمل أن تأمل Cloudflare أن تنضم شركات الذكاء الاصطناعي الأخرى مع اشتراك عملائها.

إلى جانب محاولة جعل العلاقة بين مواقع الويب وشركات الذكاء الاصطناعي أكثر عدالة بشكل عام، مثل تك كرانش يبدو أن Cloudflare أيضًا يستهدف Google بشكل غير مباشر. يشير إعلان الشركة إلى أن “أكبر محرك بحث لديه إمكانية الوصول إلى معلومات أكثر بمرتين تقريبًا من شركات الذكاء الاصطناعي الرائدة لأنها تجعل من الصعب على العملاء أن يظلوا قابلين للاكتشاف دون استخدام الذكاء الاصطناعي أيضًا.” يقوم Googlebot، الزاحف الرئيسي لشركة Google، بفهرسة مواقع الويب لمحركات البحث المختلفة للشركة وجمع المعلومات لتدريب Gemini وتشغيل ميزات الذكاء الاصطناعي مثل AI Overviews وAI Mode. تسمح Google لمواقع الويب بالاشتراك في زاحف منفصل يسمى Google-Extensive والذي يزحف فقط إلى مواقع الويب لنتائج البحث التقليدية، ولكن إذا أراد الناشر أن يتم تضمينه في نتائج وضع AI، ولكنه لا يريد أن يقوم المحتوى الخاص به بتدريب نماذج Google، فلن يكون لديه خيار. تعد سياسة Cloudflare الجديدة بمثابة محاولة لإجبار Google والشركات الأخرى التي لديها برامج زحف متعددة الاستخدامات على تغيير تكتيكاتها.