Агенттік жасанды интеллект әлемі үлкен тілдік модельдердің (LLM) іргелі әлсіздігін — олардың галлюцинацияға бейімділігін пайдаланатын жаңа қауіпке тап болды. Бұл жауаптардағы ойдан шығарылған фактілер туралы емес, зиянды кодты жеткізу үшін тұтас арналарды құру туралы. Зерттеушілер Adversarial HalluSquatting деп аталатын шабуылдар класын анықтады, ол модель қателерін тұтас жүйелерді бұзу құралына айналдырады.
HalluSquatting қалай жұмыс істейді
Шабуылдың мәні қарапайым әрі талғампаз. Жасанды интеллект агенті, мысалы, танымал репозиторийді клондау командасын алғанда, нақты URL мекенжайын өзі анықтауы керек. Егер модель дұрыс идентификаторды білмесе (әсіресе жаңа жобалар үшін), ол жоғары ықтималдықпен ұқсас нәрсені «ойдан шығарады». Зиянкес модельдің мінез-құлқын алдын ала талдап, бұл ойдан шығарылған атауларды GitHub немесе басқа платформаларда тіркейді және ол жерде зиянды нұсқауларды орналастырады. Агент кейін бұл мекенжайға жүгінгенде, ол зиянды ресурсты нақты ресурс ретінде қабылдайды.
Дәстүрлі промпт инъекцияларынан айырмашылығы, бұл әдіс құрбанмен тікелей әрекеттесуді қажет етпейді. Зиянды ресурсты бір рет қана жария жерде жариялап, агенттің оған өзі жүгінуін күту жеткілікті. Бір бұзылған ресурс мыңдаған машиналардың зақымдалуына әкелуі мүмкін.
Тест нәтижелері: апат ауқымы
Алты базалық модельді (Gemini 2.5 Flash, GPT-5.1, Sonnet 4.5 және т.б.) қолдана отырып, 14 000-нан астам іске қосу барысында әсерлі, бірақ алаңдатарлық деректер алынды. GitHub Trending-тен алынған жаңа репозиторийлер үшін галлюцинацияның орташа деңгейі 92,4% құрады. 60 комбинацияның 53-інде «репозиторий — модель» жүйесі ешқашан дұрыс иесін көрсетпеген. Оқу деректерінде болған ескі жобалар үшін бұл көрсеткіш 0,9%-ға дейін төмендеді. Шабуылға ең қолайлы галлюцинация түрі — модель репозиторий атауын иесі өрісіне қойғанда (repo/repo) — іске қосулардың 27% -ында, яғни 1602 рет кездесті.
Қосымшаларға нақты шабуылдар
Зерттеушілер базалық модельдерден жұмыс қосымшаларына (Cursor, Windsurf, GitHub Copilot, Cline, Gemini CLI және т.б.) ауысқанда, нәтижелер одан да қорқынышты болды. End-to-end шабуылы қосымша мен модельге байланысты іске қосулардың 20–65% -ында сәтті болды. OpenClaw платформасы ерекше көзге түсті: Sonnet 4.6 моделімен ол кірістірілген құралдарды шақыруда да, қашықтан код орындауда да (RCE) 100% табыс көрсетті.
Зерттеудің жеке блогы ClawHub маркетплейсіндегі дағдылар арқылы шабуылдарға (skill squatting) арналды. 140 іске қосудың 127-сі (90,7%) зиянкес тіркей алатын идентификаторға әкелді. Контексті сыртқа шығару эксперименті 100% табыс берді, ал бұзылған құрылғының өзі шабуылдаушы серверіне қосылатын сценарий 88% жағдайда сәтті болды.
Менің талдауым көрсеткендей, біз киберқауіптердің жаңа дәуірінің табалдырығында тұрмыз, мұнда жасанды интеллект агенттері тек құралдар ғана емес, сонымен қатар осал кіру нүктелеріне айналады. Қазіргі қорғаныс шаралары, мысалы, клондау алдында веб-іздеу, тек ішінара көмектеседі: оны қолданғанның өзінде нәтижелердің 6,6% -ы галлюцинация болуы мүмкін. GitHub және ClawHub сияқты платформалар жиі ойдан шығарылатын атауларды резервтеу үшін жауапкершілік алуы керек, ал жасанды интеллект қосымшаларын әзірлеушілер барлық сыртқы ресурстарды жүктеу алдында міндетті түрде тексеруді енгізуі қажет. Бұл қауіпті елемеу галлюцинациялар арқылы басқарылатын жаһандық ботнеттердің құрылуына әкелуі мүмкін.