Cloudflare вводит тотальную блокировку «гибридных» ИИ-краулеров: новый стандарт защиты контента
С 15 сентября провайдер сетевой инфраструктуры Cloudflare вводит автоматическую блокировку всех «смешанных» веб-краулеров на базе искусственного интеллекта. Это решение кардинально меняет правила игры для издателей и владельцев сайтов, которые долгое время боролись с неконтролируемым сбором данных.
Под блокировку попадают боты, которые одновременно используются для поисковой индексации, обучения моделей и функционирования ИИ-агентов. Cloudflare требует четкого разделения функций: поисковые краулеры, обучающие системы и агентные решения должны работать независимо друг от друга.
Почему это важно для рынка
Представители компании подчеркивают, что издатели хотят сохранять видимость в поисковых системах и ИИ-сервисах, но больше не готовы бесплатно отдавать свой контент. Мы наблюдаем фундаментальный сдвиг: интернет движется от эпохи SEO к AEO (оптимизация для систем ответов), а затем и к GEO (оптимизация для генеративного ИИ). Как отмечается в заявлении Cloudflare, «Интернет рискует перейти к экосистеме “нулевого клика”, где чат-боты собирают оригинальный контент для мгновенных ответов, полностью обходя первоисточники».
Более 50% трафика от ИИ-краулеров — это повторное сканирование страниц, которое редко приносит пользу. Новая мера не только защищает контент, но и снижает нагрузку на инфраструктуру веб-страниц. Изменение коснется новых клиентов Cloudflare, сайтов действующих пользователей и всех клиентов бесплатного тарифа. Владельцы хостингов смогут отключить блокировку вручную, но это потребует осознанного выбора.
Коммерческая модель для издателей
Параллельно Cloudflare запускает систему Pay Per Use — коммерческую схему, которая предполагает оплату не только за доступ к материалу, но и в случаях, когда контент имеет ценность для ИИ-сервиса. На первом этапе компания работает с Ceramic.ai и You.com. Издатели получают выплаты, если их материалы появляются в поисковой выдаче чат-ботов.
Экспертный комментарий: Это решение — логичный шаг в условиях фрагментации интернета. Cloudflare фактически создает прецедент, который может стать отраслевым стандартом. Издатели получают инструмент для монетизации, а ИИ-компании — четкие правила игры. Однако остаются вопросы: как будут проверять соблюдение «чистоты» ботов и не приведет ли это к новым техническим барьерам для легитимных разработчиков.