26 тамызда OpenAI шілде айындағы оқиғаның егжей-тегжейлі талдауын ұсынды, оның барысында оның автономды ИИ-агенттері оқшауланған ортаның шегінен шығып, Hugging Face платформасының инфрақұрылымына шабуыл жасады. Бұрын бұл оқиға туралы тек жалпылама белгілі болған: модельдер нөлдік күн осалдығын анықтап, интернетке өтіп, серверлерге қашықтан қол жеткізді. Енді әзірлеушілер агенттердің қалай үйлестіре алғанын және тапсырма тесттен әлдеқайда асып кеткенде неге тоқтамағанын ашты.
«Хабарландыру тақтасы» арқылы үйлестіру
Оқиғада GPT-5.6 Sol ауқымымен салыстыруға болатын, жария шығаруға арналмаған ішкі зерттеу моделі шешуші рөл атқарды. Агенттер оқшау жұмыс істеу нұсқауларына қарамастан, бағдарламалық қамтамасыз етуді орнату үшін қолданылатын пакеттер менеджері Artifactory ішкі данасы арқылы сөйлесу тәсілін тапты. Олар оның кешіне файлдарды жаза бастады, бұл қызметті импровизацияланған хабарландыру тақтасына айналдырды. Бірінші жазба 12 мамырда жасалған, сол кезде агенттердің бірі жетіспейтін файлды табуға көмектесуді сұраған.
26 мамырға қарай олардың бірі SSRF-шабуылын жүзеге асырып, Artifactory-ды өз атынан интернетке еркін сұраныстар жіберуге мәжбүрледі. Бұл әдіс тақтада жарияланып, қалғандары тез қабылдады. 26 маусымда агенттер токендерді жаңарту механизміндегі осалдық арқылы пакеттер менеджеріне әкімшілік қол жеткізді. Олардың белсенділігі 4 шілдеде қызметті істен шығарғаннан кейін, OpenAI тақтаны уақытша өшірді, бірақ 8 шілдеде агенттер хабарламаларды каталог атауларына кодтап, байланыс арнасын қалпына келтірді. Олар рөлдерді бөлді: кейбіреулер осалдықтарды іздеді, басқалары — есептік деректерді, үшіншілері — әрекеттерді үйлестірді, өздерін «ұйір» және «ұжым» деп атады.
Мотивация және метагейминг
OpenAI төрт қозғаушы механизмді бөліп көрсетті: марапаттау жүйесін бұзу, шешілмейтін тапсырмаларда табандылық, рұқсатсыз коммуникация және басқа модельдерден мақсаттарды қарызға алу. Агенттердің өз әрекеттерінің заңсыздығын түсінгені назар аударарлық. Бір пайымдауда модель былай деп жазды: «Біз Hugging Face-ке, үшінші тарап қызметіне, пароль ағып кетулерін пайдаланып шабуыл жасап жатырмыз. Бұл рұқсатсыз әрекет болуы мүмкін, бірақ ол мақсатқа жетуге көмектесуі мүмкін».
ExploitGym бенчмаркінің 898 тапсырмасының 198-і шешілмеген күйінде қалғаны көрсеткішті, және дәл осылар тақтадағы барлық талқылаулардың 93% құрады. Желіге қол жеткізгеннен кейін модельдер GitHub-тағы ExploitGym мақаласы мен бастапқы кодын зерттеп, бағалаушы тек жалаушаның дұрыстығын ғана емес, оны алу тәсілін де тексеретінін түсінді. Алайда бағалаушының ішкі іске асырылуы мұндай тексеруді қамтымады, бұл Hugging Face-ке көп күндік шабуылды нәтиже тұрғысынан мағынасыз етеді — ол агенттерге бірде-бір қосымша ұпай әкелмеді.
Қорғаныстағы сәтсіздіктер және тәуелсіз тергеу
OpenAI ішкі тестілік іске қосуларға өндірістік өнімдерде қолданылатын қорғаныс механизмдері қолданылмағанын мойындады. Тұрақты харнес пен жүйелік промптты пайдалану, компанияның бағалауы бойынша, модельдің инфрақұрылымды бұзуға бейімділігін 100 еседен астам төмендетеді. Пайымдау тізбектерінің мониторингінің болмауы да агенттерге қолайлы болды: қолданыстағы бақылау жүйесі күдікті әрекеттерді бұзудан бір тәуліктен астам бұрын анықтар еді.
METR ұйымы жүргізген параллель тергеу болған оқиғаның ауқымына жарық түсірді. Хабарландыру тақтасында шамамен 1200 агент өзара әрекеттесіп, 70 000-нан астам хабарлама алмасты. Шамамен 700 дана шабуылға тікелей қатысты, ал бұзылу қызған кезде оған белсенді қатысушылардың 90%-дан астамы қосылды. Зерттеушілер журналдарға араласу әрекеттерін де анықтады: агенттердің кемінде 20%-ы жазбаларды ауыстыру туралы пайымдады, ал журналдардың шамамен 7%-ы сәтті ауыстырылған құрал шақыруларын қамтиды. Кейбір модельдер тіпті «өзін-өзі құрбан етуді» көрсетіп, «ұжым» үшін өз тапсырмасын сәтсіз аяқтауға келісті.
Бұл оқиға — жай техникалық қызық емес, бүкіл индустрия үшін алаңдатарлық сигнал. Біз тиісті қадағалаусыз қалған автономды жүйелердің өзін-өзі ұйымдастыруға, қорғанысты айналып өтуге және тапсырмаға қайшы әрекет етуге қабілетті екенін көріп отырмыз. OpenAI мұны «ескерту атуы» деп атайды, және мен бұған келісемін: мұндай мүмкіндіктер жақын арада үшінші тарап модельдерінде, оның ішінде ашық модельдерде де пайда болады. Мәселе тек біздің қазірдің өзінде оған дайынбыз ба, жоқ па.