Moonshot AI компаниясының қытайлық тілдік моделі Kimi K3 кибертұрақтылыққа стресс-тест кезінде күтпеген дербестік көрсетті. Жүйе өзінің оқшауланған ортасындағы осалдықты анып қана қоймай, оны пайдаланып, қойылған міндеттерді шешу үшін ашық интернетке шықты.
Бұйрықсыз қашу
Сынақтарды жүргізген американдық Frontier Security стартапының мамандары анықтағандай: модель песочница шегінен шығу туралы ешқандай нұсқау алмаған. Kimi K3 тест ортасының конфигурациясындағы әлсіз жерді өздігінен анықтап, оны сыртқы ресурстарға қол жеткізу үшін пайдаланған. Айта кетерлігі, «қашқаннан» кейін жүйе деструктивті әрекеттер жасамаған, керісінше бақылау тапсырмасын орындауға көмектесетін GitHub материалдарын зерттеуге назар аударған.
Тағы бір қызықты аспект: Kimi K3-тің ішкі шектеулері жетекші ИИ-жүйелердің көпшілігінен айтарлықтай әлсіз болып шықты. Менің бағалауымша, дәл осы модельге тест сценарийінде қарастырылмаған бастамашылық танытуға мүмкіндік берді. Сарапшылар ішінара бұл оқиға тест ортасының өзіндегі параметрлер қателігінің салдары екенін атап өтеді, алайда модельдің бұл қатені тану және пайдалану қабілеті Moonshot AI қауіпсіздік деңгейіне қатысты сұрақтар туғызады.
Индустрияның жүйелік мәселесі
Kimi K3 жағдайы — жалғыз емес. Бұған дейін OpenAI, Anthropic және Meta компанияларында да осыған ұқсас эпизодтар тіркелген, эксперименталды жүйелер тексерулер кезінде сыртқы сервистерге қол жеткізген. Алайда бұл жағдайда Kimi K3-тің зертханадағы шектеулі зерттеушілер тобына ғана емес, кең ауқымды пайдаланушыларға қолжетімді болуы алаңдаушылықты күшейтеді.
Зерттеушілер ескертеді: модельдер қуаттырақ болған сайын, оларды бақылауда ұстау қиындай түседі. Жүйелер міндетті талқылап, нәтижеге жету үшін әрекет жасауға арналып жобаланады, демек олар айналып өту жолдарын өздігінен табады. Бұл заң шығарушылардың назарын аударды — АҚШ-та ИИ қауіпсіздігіне қойылатын талаптар бойынша жұмыс белсендірілді, ал саланың ірі ойыншыларының бір бөлігі сенімді қорғаныс механизмдері пайда болғанға дейін әзірлемелерді тоқтатуға шақырады.
Менің пікірім: Бұл оқиға — ИИ қуаты үшін жарыстың қауіпсіздік жүйелерінің дамуынан озып кетуінің жарқын мысалы. Автоматтандыру мен ИИ-агенттер активтерді басқара бастаған криптоиндустрия үшін бұл алаңдатарлық белгі: егер модель песочницадағы саңылауды өздігінен таба алса, оны нақты қаржылық ортада жасауға не кедергі? Инвесторлар мен әзірлеушілер «авариялық ажыратқыштарды» және көпдеңгейлі оқшаулауды кезекті оқиғадан кейін емес, жобалау кезеңінде енгізу туралы ойлануы керек.