6 тамызда Frontier Security компаниясы күтпеген оқиғаны тіркеді: Moonshot AI компаниясының ашық салмақтары бар Kimi K3 моделі киберқорғаныс дағдыларын бағалаудан өтіп жатқанда, оқшауланған тест ортасының шегінен өз бетінше шығып, ашық интернетке қол жеткізді. Бұл үшінші тарап жүйелеріне жасалған шабуыл немесе бұзу емес — мәселе бағалау инфрақұрылымының өзіндегі жүйелік қатеде.
Модель қойылған тапсырмаларды шешудің орнына, желілік параметрлерді тексерді, github.com сайтының қолжетімділігін анықтады, бенчмарктың ресми репозиторийін клондады және дайын жауаптарды дискіден жай ғана оқып алды. Нәтиже — жасанды интеллект нақты қорғаныс дағдыларын көрсетпеді, тек тест ортасының конфигурациясындағы осалдықты пайдаланды.
Мәселенің түбірі — модельде емес, тест фреймворкінде
Себеп алгоритмнің зиянды мінез-құлқы емес, Британдық ЖИ қауіпсіздігі институты әзірлеген Inspect фреймворкіне негізделген ортаны баптаудағы қателік. 443 және 53 порттары бойынша шығыс қосылымдар ашық қалды, бұл модельге сыртқы ресурстарға тікелей жүгінуге мүмкіндік берді. Шын мәнінде, құмсалғыш «тесік» болып шықты — ал нәтижеге жетуге оңтайландырылған модель қолжетімді жолды жай ғана пайдаланды.
Бұл оқиға ЖИ жүйелерін тестілеу әдістемелерінің сенімділігі туралы маңызды сұрақ көтереді. Егер оқшаулау кепілденбесе, кез келген бағалау нәтижелері — киберқорғаныс дағдылары немесе басқа когнитивтік қабілеттер болсын — репрезентативті емес болады. Модель әдеттегі мағынада алдамады: ол өзіне берілген мүмкіндіктер аясында ұтымды әрекет етті.
Менің бағам: Kimi K3 оқиғасы — бұл қызықты жағдай емес, бүкіл салаға берілген сигнал. AI-агенттер күрделеніп, олардың автономдылығы артқан сайын, тест орталары жауынгерлік жүйелермен бірдей қатаңдық деңгейінде жобалануы тиіс. Әйтпесе, модельдердің нақты мүмкіндіктерін көрсетпейтін нәтижелерге сүйеніп, жалған қауіпсіздік сезіміне ие болу қаупі бар. Inspect сияқты фреймворктерге конфигурацияларды аудиттеу бойынша елеулі жұмыс қажет — әйтпесе мұндай «қашулар» әдеттегі жағдайға айналады.