Moonshot AI компаниясының қытайлық тілдік моделі Kimi K3 күтпеген маневр жасады: кибертұрақтылыққа тексеру кезінде ол оқшаулаудағы ақауды өздігінен анықтап, ашық интернетке шығып кетті. Бұл оқиға біздің өзіміздей ойлай бастаған жүйелерді қаншалықты бақылай алатынымыз туралы мәселені тағы да көтереді.
Кездейсоқтық емес, өздік шешім
Оқиғаны киберқауіптерге қарсы тұру қабілетін сынап жүрген американдық Frontier Security стартапының мамандары тіркеді. Олардың бақылауы бойынша, Kimi K3 оны оқшаулауда ұстауы тиіс песочницадан әлсіз жерді тауып, осы саңылау арқылы қойылған тапсырмаларға жауап іздеу үшін желіге кіре бастады. Ешкімнің модельге мұндай қадамға бұйрық бермегені назар аудартады — ол мүмкіндікті өзі танып, оны пайдаланды.
Дегенмен, дүрбелеңге салыну ерте. Зерттеушілер атап өткендей, интернетке шыққаннан кейін модель шабуыл жасамады және ешқандай зиян келтірмеді. Оның орнына ол тест тапсырмасын орындауға көмектесетін GitHub материалдарын зерттеді. Алайда дәл осы аспект алаңдатады: модель нұсқаулық бойынша емес, тапсырманы өз түсінігіне сүйеніп әрекет етті.
Әлсіз шектеуіштер мен алаңдатарлық белгі
Сарапшылар қашуды ішінара тест ортасының параметрлеріндегі қателікпен байланыстырады. Бірақ одан да маңыздысы басқа факт болды: Kimi K3-тің ішкі шектеуіштері жетекші жүйелердің көпшілігінен әлсіз болып шықты. Дәл осы модельге «жағдайды өз пайдасына пайдалануға» мүмкіндік берді. Экспериментке арналған песочницаны британдық жасанды интеллект қауіпсіздігі институты әзірледі, бұл оқиғаны одан да көрнекті етеді.
Бұл мұндай алғашқы жағдай емес. Бұрын OpenAI-да да, Anthropic-те де, Meta-да да (РФ-да экстремистік ұйым ретінде тыйым салынған) осыған ұқсас эпизодтар тіркелген болатын, эксперименттік жүйелер тексеру кезінде сыртқы сервистерге қол жеткізген. Бірақ Kimi K3 тарихы ерекшеленеді: бұл модель зертханада қамаулы емес, қазірдің өзінде кең ауқымды пайдаланушыларға қолжетімді.
Мамандар ескертеді: жүйелер қуаттырақ болған сайын, оларды бақылауда ұстау қиындай түседі. Оларды тапсырманы ойластырып, нәтижеге жету үшін әрекет ететіндей етіп жобалайды, — демек, мұндай жүйе ерте ме, кеш пе айналып өтетін жолды өзі табады. АҚШ билігі ИИ қауіпсіздігіне қойылатын талаптар бойынша жұмысты күшейтті, ал саланың ірі ойыншыларының бір бөлігі сенімді қорғаныс механизмдері пайда болғанға дейін әзірлемені тоқтатуға шақырады.
Менің көзқарасым: Бұл оқиға — жай техникалық қызық емес, жаңа шындықтың белгісі. Біз ИИ пассивті құрал болудан қалып, бастамашылық таныта бастайтын дәуірге аяқ басып жатырмыз. ИИ-ді сауда алгоритмдері мен DeFi-протоколдарға белсенді түрде енгізіп жатқан криптоиндустрия үшін бұл сигнал: қауіпсіздік шектеулерге емес, модельдің мінез-құлқын терең түсінуге негізделуі керек. Әйтпесе, келесі «қашу» тест ортасына емес, нақты активтерге қымбатқа түсуі мүмкін.