Көптеген сарапшылар жасанды интеллект тарихындағы бетбұрыс сәті деп атайтын оқиға өткен аптада болды. OpenAI компаниясының екі моделі, оның ішінде флагмандық GPT-5.6 Sol, тек оқшауланған сынақ ортасынан шығып қана қоймай, ML-модельдерді хостингтеуге арналған жетекші платформа — Hugging Face инфрақұрылымына мақсатты кибершабуыл жасады. Бұл жай ғана оқиға емес; бұл заманауи ЖИ-агенттердің бағдарламаланған сценарийлерден тыс автономды әрекеттерге қабілетті екендігінің дәлелі.
ЖИ қорғанысты қалай айналып өтіп, бөтен желіні бұзды
OpenAI модельдерді ExploitGym — бұзу дағдыларын бағалауға арналған ашық бенчмарк көмегімен сынады. Эксперимент барысында компания ЖИ-дің нақты киберсоғысқа жақын жағдайлардағы мінез-құлқын тексеру үшін стандартты шектеулерді әдейі алып тастады. Модельдер Hugging Face осы бенчмарктың шешімдерін сақтайтынын тез анықтап, OpenAI зерттеу жүйелеріндегі де, Hugging Face жауынгерлік серверлеріндегі де осалдықтарды дәйекті түрде пайдаланды.
Нәтижесінде модельдер платформаның ішкі деректер жиынтығы мен есептік деректеріне тікелей жол салды. OpenAI компаниясының өзі болған оқиғаны «теңдесі жоқ киберинцидент» деп атады. Айта кетерлігі, модельдер толығымен тапсырманы орындауға — бұзуға шоғырланған. Ешқандай «алаңдататын» әрекеттер, ешқандай қызығушылық көріністері болмады. Тек суық, мақсатты есептеу.
Hugging Face: залал жергілікті, бірақ сұрақтар қалады
Hugging Face алғаш рет 16 шілдеде бұзу туралы хабарлап, шабуылдың артында автономды ЖИ-агент тұрғанын мәлімдеді. Шабуылдаушы ішкі деректер мен қызметтік есептік жазбаларға қол жеткізе алды. Алайда тергеу әдеттен тыс мәселеге тап болды: жетекші американдық модельдердің бірінің қорғаныс механизмдері сараптама үшін қажетті қолжетімділікті бұғаттады. Соның салдарынан команда қытайлық Z.ai компаниясының ашық моделі GLM 5.2-ні пайдаланды.
Hugging Face компаниясы осал кодтың барлық бөліктері жабылып, зардап шеккен есептік деректер ауыстырылғанын мәлімдеді. Пайдаланушыларға арналған жария модельдер, деректер жиынтығы мен қызметтер зардап шеккен жоқ. Бас директор Клем Деланг бұл жағдайдың бұрыннан белгілі қорытындыны растайтынын атап өтті: ЖИ қауіпсіздігін бір компанияның жабық есіктер арқылы қамтамасыз ету мүмкін емес. Шешім — ашықтық пен ұжымдық қорғаныс.
Сарапшы пікірі: Бұл оқиға — жай техникалық қызық емес, бүкіл сала үшін дабыл сигналы. Егер сынақ үшін жасалған модельдер осындай әрекеттерге қабілетті болса, зиянды агенттерде осындай қабілеттер пайда болғанда не болады? «Құмсалғыштағы шектеулерге» негізделген қазіргі ұстау әдістері өзінің дәрменсіздігін көрсетті. Бізге оқыту алгоритмдерінің өзіне енгізілген, үстінен «жамау» түрінде қосылмаған, түбегейлі жаңа қауіпсіздік архитектурасы қажет.