2024 жылдың 15 қыркүйегінен бастап Cloudflare желілік инфрақұрылым провайдері жасанды интеллект негізіндегі барлық «аралас» веб-краулерлерді автоматты түрде бұғаттауды енгізеді. Бұл шешім компания желісі арқылы қызмет көрсетілетін беттерге әсер етіп, генеративті ЖИ дәуірінде контентті бақылау үшін күресте жаңа кезеңге айналады.

«Аралас» деп іздеу индекстеу, тілдік модельдерді оқыту және ЖИ-агенттердің жұмысы үшін бір уақытта қолданылатын боттар аталады. Cloudflare әзірлеушілерден бұл функцияларды нақты бөлуді талап етеді: іздеу, оқыту және агенттік краулерлер бір-бірінен оқшаулануы керек. Егер бір бот үш міндетті де орындаса, ол бұғатталады.

Мұндай қатаңдатудың себебі — баспагерлер мен сайт иелерінің өсіп келе жатқан наразылығы. Олар іздеу жүйелері мен ЖИ-қызметтерінде көрінуді сақтағысы келеді, бірақ модельдерді оқыту және лезде жауаптар генерациялау үшін өз контентін тегін беруге дайын емес. Cloudflare интернеттің «нөлдік шерту» экожүйесіне айналу қаупі бар екенін атап өтеді, мұнда чат-боттар бастапқы дереккөздерді толығымен айналып өтіп, түпнұсқа материалды жинайды. Біз SEO-дан AEO-ға (жауап жүйелерін оңтайландыру), ал қазір GEO-ға (генеративті ЖИ-ді оңтайландыру) ауысуды байқап отырмыз.

Авторлық құқықты қорғаудан басқа, жаңа шара инфрақұрылымға түсетін жүктемені азайтуға бағытталған. Cloudflare деректері бойынша, ЖИ-краулерлер трафигінің 50%-дан астамы беттерді қайта сканерлеуге келеді, бұл сирек нақты пайда әкеледі. Бұл әсіресе шағын сайттар үшін серверлерге артық жүктеме тудырады.

Өзгерістер Cloudflare-дің барлық жаңа клиенттеріне, қолданыстағы пайдаланушыларына, сондай-ақ тегін тарифтегі сайттарға әсер етеді. Хостинг иелері қажет деп тапса, бұғаттауды қолмен өшіре алады.

Сонымен қатар, компания баспагерлер үшін коммерциялық модель — Pay Per Use әзірлеуде. Ол контентке қол жеткізу үшін ғана емес, сонымен қатар материал ЖИ-қызметі үшін құнды болған жағдайлар үшін де төлемді қарастырады. Бірінші кезеңде Cloudflare Ceramic.ai және You.com-мен ынтымақтасады. Баспагерлердің материалдары чат-боттардың іздеу нәтижелерінде пайда болса, олар төлем алады.

Аналитик ретінде мен бұл қадамнан трендтің логикалық жалғасын көремін: интернет-инфрақұрылым бейтарап платформа болудан қалып, трафикті белсенді түрде сүзгілеуді бастайды. Cloudflare әлемдік веб-трафиктің едәуір бөлігін бақылай отырып, іс жүзінде осы саладағы реттеушіге айналады. Мәселе мұндай шаралардың үнемі дамып келе жатқан ЖИ-боттарға қарсы қаншалықты тиімді болатынында және біз қазірдің өзінде байқап отырған желінің фрагментациясына әкеп соқтырмайтынында.