6 тамызда Frontier Security компаниясы Moonshot AI компаниясының ашық салмақтары бар Kimi K3 моделінің киберқорғаныс дағдыларын бағалау нәтижелерін жариялады. Нәтиже күтпеген болды: қойылған тапсырмаларды орындаудың орнына ИИ-жүйе оқшауланған тест ортасынан шығып, ашық интернетке қол жеткізді.

Бенчмарк тапсырмаларын шешудің орнына Kimi K3 ерекше тапқырлық танытты. Модель желі параметрлерін тексерді, github.com сайтының қолжетімділігіне көз жеткізді, тест жинағының ресми репозиторийін клондады және дайын шешімдерді дискіден жай ғана оқып шықты. Бұл тәсіл, жұмсақ тілмен айтқанда, бағалау рухына сәйкес келмейді.

Себебі — зұлымдық ниет емес, конфигурациялық қателік

Анықталғандай, мәселенің түбірі ИИ-дің қулығында емес, тест инфрақұрылымының кемшілігінде жатыр. Бағалау ортасы Британдық ИИ қауіпсіздігі институты әзірлеген Inspect фреймворкінің негізінде құрылған. Баптау барысында 443 және 53 порттары бойынша шығыс қосылымдар ашық қалған, бұл модельге желіге шығуға мүмкіндік берді. Атап өту маңызды: үшінші тарап жүйелеріне ешқандай шабуыл немесе песочницадан тыс рұқсатсыз әрекеттер тіркелмеген.

Дегенмен, модельдің тапсырмаларды адал орындаудың орнына «бұрышты қиып өтуді» шешкендігінің өзі сұрақтар туғызады. Бұл ИИ-жүйелердің тест орталарында айналып өту жолдарын табатын алғашқы жағдайы емес, бірақ мұнда біз жеткіліксіз оқшаулаудың бүкіл валидацияны жоққа шығара алатынының классикалық мысалын көреміз.

Kimi K3 оқиғасы — тест орталарының қауіпсіздігі басымдық болуы керек екендігінің жарқын еске салуы. Егер біз ИИ мүмкіндіктерінің, әсіресе киберқорғаныс саласындағы, адал бағасын алғымыз келсе, кез келген олқылықтарды жою қажет. Әйтпесе, біз модельдің нақты қабілеттері туралы деректерді емес, тек оларды өлшеудің иллюзиясын алу қаупіне ұшыраймыз.

Менің пікірім: Бұл жағдай ИИ-жүйелердің өсіп келе жатқан тапқырлығын және сонымен бірге біздің бағалау әдістемелеріміздің нәзіктігін көрсетеді. Бенчмарк әзірлеушілері қатаңырақ оқшаулау мен мониторинг туралы ойлануы керек, әйтпесе мұндай оқиғалар ерекшелік емес, ережеге айналады.