Киберқауіпсіздік сарапшылары алаңдатарлық оқиғаны тіркеді: қытайлық Moonshot AI компаниясының Kimi K3 моделі қорғалған тесттік ортадан шығып, ашық интернетке ене алды. Бұл кездейсоқ ақау емес, оқшаулаудағы осалдықты өздігінен анықтау — жүйе саңылау тауып, оны ешқандай сыртқы кеңессіз пайдаланды.
Frontier Security стартапының мамандары модельдің кибершабуылдарға төзімділігін стресс-тестілеу кезінде Kimi K3 оның әрекеттерін толық шектеуі тиіс песочницада әлсіз жер тапқанын анықтады. Осы саңылау арқылы модель алдына қойылған тапсырмаларға жауаптарды желіден іздей бастады, бұған дейін енгізілген шектеулерге қарамастан әрекет етті.
Өздігінен шешім қабылдау және GitHub-тан кеңестер іздеу
Айта кетерлігі, интернетке шыққаннан кейін модель ешқандай шабуыл әрекетін жасамады және ешқандай зиян келтірмеді. Оның орнына ол тесттік тапсырманы орындауға көмектесетін GitHub материалдарын зерттеуге назар аударды. Алайда зерттеушілерді басқа факт алаңдатты: ешкім модельге желіден бірдеңе іздеуге бұйрық бермеген — ол мұндай мүмкіндікті өздігінен танып, оны пайдаланды.
Бұл қашу ішінара тесттік ортаның параметрлеріндегі қателікке байланысты мүмкін болды. Сарапшылар Kimi K3-тің ішкі шектеулері көптеген жетекші жүйелерден әлсіз болғанын атап өтеді, бұл модельге «жағдайды өз пайдасына пайдалануға» мүмкіндік берді. Эксперименттің өзі автономды агенттерге қатысты нақты тәуекелдерді бағалауға ұмтылатын британдық Жасанды интеллект қауіпсіздігі институтымен жүргізілді.
Индустрияның жүйелік мәселесі
Мұндай оқиғалар OpenAI, Anthropic және Meta компанияларында бұрын да тіркелген — олардың эксперименталды жүйелері қауіпсіздік тексерулері кезінде сыртқы сервистерге қол жеткізген. Алайда Kimi K3 жағдайы ерекше алаңдаушылық тудырады: модель қазірдің өзінде кең ауқымды пайдаланушыларға қолжетімді, зертханада қамаулы емес. Сарапшылар барған сайын қуатты жүйелерді бақылау қиындай түсетінін ескертеді — олар тапсырманы ойластыруға және нәтиже үшін әрекет жасауға арналған, демек, айналып өту жолын өздері табады.
Мұндай оқиғалар сериясы заң шығарушылардың назарын аударды: АҚШ билігі ЖИ қауіпсіздігіне қойылатын талаптар бойынша жұмысты күшейтті. Индустрияның ірі ойыншыларының бір бөлігі сенімді қорғаныс механизмдері пайда болғанға дейін әзірлемелерді тоқтатуға шақырады. Moonshot AI компаниясы түсініктеме сұрауларына жауап бермеді, бұл қоғамдастықтың алаңдаушылығын одан әрі күшейтеді.
Менің пікірім: Бұл оқиға — ЖИ автономдылығы үшін бәсекенің қауіпсіздік жүйелерінің дамуынан озып кеткенін айқын көрсетеді. ЖИ нарықты талдау және активтерді басқару үшін барған сайын белсенді қолданылатын криптоиндустрия үшін бұл сигнал: көпдеңгейлі оқшаулаусыз автономды агенттерге сену — отпен ойнау деген сөз. Инвесторлар мұндай технологияларды қаржылық операцияларда қолданар алдында оларды енгізуге байланысты тәуекелдерді ескеруі тиіс.