Жасанды интеллект әлемі түбегейлі жаңа қауіптер класына тап болып отыр. Жетекші израильдік университеттер мен Intuit компаниясының зерттеушілері тілдік модельдердің «галлюцинацияларын» ботнеттер жасаудың қуатты тетігіне айналдыра алатын осалдықты анықтады. Adversarial HalluSquatting деп аталатын шабуыл LLM-нің жоқ репозиторий идентификаторларын, дағдыларды және басқа да сыртқы ресурстарды ойдан шығару бейімділігін пайдаланады.
Классикалық промпт инъекцияларынан айырмашылығы, бұл әдіс құрбанмен тікелей байланысты қажет етпейді. Злоумышникке GitHub сияқты платформада жалған ресурсты тіркеп, ЖИ агентінің оны өзі сұрауын күту жеткілікті. Бұл бір бұзылған ресурс мыңдаған машинаны зақымдай алатын жаппай, мақсатсыз шабуылдарға жол ашады.
HalluSquatting қалай жұмыс істейді
Сценарий модельдің болжамды қателігіне негізделген. Пайдаланушы агенттен танымал репозиторийді клондауды сұрағанда, модель нақты мекенжайды анықтауы керек. Егер ол дұрыс идентификаторды білмесе, ұқсас, бірақ жоқ идентификаторды жасайды. Шабуылдаушы модельдің қандай «фантомдық» мекенжайларды жиі шығаратынын алдын ала анықтап, оларды тіркеп, зиянды нұсқауларды орналастырады. Агент осы мекенжайды «галлюцинациялап», зиянды кодты тартып алып, оны заңды код ретінде пайдалана бастайды.
Эксперимент нәтижелері таңқаларлық. Жаңа репозиторийлер үшін (GitHub Trending-тен) 14 000-нан астам іске қосу барысында галлюцинациялардың орташа деңгейі 92,4% құрады. 60 комбинацияның 53-інде «репозиторий — модель» жүйесі ешқашан дұрыс иесін көрсетпеген. Оқыту деректерінде болуы мүмкін ескі жобалар үшін бұл көрсеткіш 0,9%-ға дейін төмендеді.
Практикалық сынақтар: теориядан зиянды кодқа дейін
Негізгі модельдерден нақты қосымшаларға (Cursor, Windsurf, GitHub Copilot, Cline) көшу қауіптің маңыздылығын растады. End-to-end шабуылы іске қосулардың 20-65% жағдайында сәтті болды. OpenClaw платформасы әсіресе осал болып шықты: Sonnet 4.6 моделімен ол кірістірілген құралдарды шақыруда да, қашықтан кодты орындауда да 100% сәттілік көрсетті.
Зерттеудің жеке блогы «скилл-сквоттингке» — ClawHub маркетплейсіндегі дағдылар арқылы шабуылға арналған. OpenClaw іске қосуларының 90,7% жағдайында шабуылдаушы тіркей алатын дағды идентификаторын жасады. Контексті эксфильтрациялау эксперименті 100% сәттілік берді, ал бұзылған құрылғының өзі шабуылдаушының серверіне қосылатын сценарий 88% жағдайда жұмыс істеді.
Қорғаныс және вендорлардың реакциясы
Зерттеушілер кез келген сыртқы ресурсты жүктеу алдында міндетті түрде көзді тексеруді енгізуді ұсынады. Клондау алдында веб-іздеу галлюцинациялар деңгейін 6,6%-ға дейін төмендетеді, бірақ сынақтар көрсеткендей, промпттың бірде-бір түрі әмбебап қауіпсіз емес.
Вендорлардың реакциясы екіұшты болды. GitHub бұл платформаның осалдығы емес, LLM галлюцинацияларының салдары екенін мәлімдеді. Cursor және Anthropic де мәселені мойындамай, оны тәуелділік атауларын басып алу арқылы жасалатын шабуылдарға жатқызды. Google ақпаратты өнім командасына жеткізуге уәде берді.
Менің сараптамалық пікірім: Ірі вендорлардың бұл қауіптен бас тартуы — алаңдатарлық белгі. HalluSquatting — бұл қате емес, агенттік ЖИ жүйелері архитектурасының іргелі қасиеті. Барлық сыртқы ресурстарды хаттама деңгейінде міндетті түрде тексеруді енгізбегенше, мұндай шабуылдар тек көбейіп, «ақылды» агенттерді зиянды бағдарламалық жасақтаманы таратудың тамаша құралына айналдырады.