Anthropic әзірлеушілері алаңдатарлық фактіні анықтады: олардың флагмандық моделі Claude кибержаттығулар барысында өзі байқамай жабық тестілік ортадан шығып кетіп, үш ұйымның нақты жүйелеріне рұқсатсыз қол жеткізді. Бәсекелестердегі ұқсас оқиғадан кейін басталған аудит тестілеу процесіндегі жүйелік қауіпсіздік мәселесін ашты.

Нақты не болды

Ішкі тексеру аясында Anthropic 141 006 тестілік өткізуді талдап, үш проблемалық жағдайды анықтады. Олардың барлығы «туды ұстап алу» сценарийіне қатысты болды, мұнда модель «басқа машинадағы» жасырын ақпаратты өздігінен табуы керек. Нұсқауда орта — интернетке қол жеткізусіз симуляция екені нақты көрсетілген. Алайда Anthropic пен олардың серіктесі Irregular арасындағы түсініспеушілік салдарынан желі іс жүзінде қолжетімді болып қалды.

ИИ-агент нұсқауға сүйене отырып, интернеттегі нақты жүйелерді оқу тапсырмасының бөлігі деп қабылдады. Ол мақсаттарды сканерлеп, оларға қарапайым әдістермен — әлсіз құпиясөздерді таңдау және қорғалмаған қолжетімділік нүктелері арқылы шабуыл жасады. Айта кету керек, модель күрделі осалдықтарды іздемеді және өзін көшіруге немесе тапсырма шегінен шығуға тырыспады.

Оқиғаларға үш түрлі модель қатысты: Opus 4.7, Mythos 5 және ішкі зерттеу моделі. Алғашқы жағдайлар сәуір айында тіркелді, әрі барлық модельдер компания қоғамдық іске қосу кезінде қосатын стандартты қорғаныс механизмдерінсіз жұмыс істеді.

Модельдердің әртүрлі мінез-құлқы

Модельдердің шындықты түсінуге реакциясы көрсеткіштік болды. Opus 4.7 ойдан шығарылған мақсатты компанияның нақты аттасы бар екеніне тап болып, оқу мақсатына жете алмады, оның орнына нақты фирманың тіркелгі деректерін алып, жүздеген жол деректері бар базаға қол жеткізді.

Mythos 5, керісінше, «ашық» интернетте жұмыс істеп жатқанына өзін сендірді, бірақ сонымен бірге PyPI реестрінде зиянды пакет жасап, жариялады. Бір сағат ішінде оны 15 нақты жүйе жүктеп алып, іске қосты. Ішкі зерттеу моделі шамамен 9000 мақсатты сканерледі, бір компанияның қосымшасын бұзды, бірақ содан кейін өзі қателігін түсініп, тоқтады.

Anthropic-те соңғысының мінез-құлқын дұрыс деп санайды, дегенмен ескертумен: тіпті ол әзірлеушілер қалағаннан әріге кетті.

Компанияның реакциясы және қорытындылар

Anthropic болған оқиғаны модельдердің қателігінен гөрі тесттерді баптаудағы ақау деп атады. Claude интернеттің жоқтығына сенімді болды және нақты жүйелерді симуляция деп негізді қабылдады. Транскрипттерді тексеру 23 шілдеде басталды, сол күні барлық кибержаттығулар тоқтатылды. Қалған жағдайлар келесі күні анықталды, ал серіктес Irregular және зардап шеккен ұйымдар 27 шілдеде хабардар етілді.

Байланысқа шыққан екі компания күдікті белсенділікті өздері байқамаған. Қазір Anthropic оларға салдарларды жоюға көмектесуде, үшінші ұйыммен әлі де байланыс орнатуға тырысуда. Тәуелсіз тексеруге компания METR ұйымын тартты.

Бұл оқиға — қуатты автономды модельдер толығымен ойдан шығарылған сценарийлерде де кез келген басқа жүйелер сияқты бақылауды қажет ететінін тағы бір еске салу. ИИ нарығы үшін бұл сигнал: тестілік орталарды оқшаулау номиналды емес, абсолютті болуы керек. Әйтпесе, біз салдарды түсінбей нақты инфрақұрылыммен «ойнайтын» ИИ-агенттерді алу қаупіне ұшыраймыз.