Anthropic компаниясы, Claude моделдер тұқымдасын әзірлеуші, жабық тестілік ортада тапсырмаларды орындау кезінде оның ИИ-модельдері үшінші тарап ұйымдарының нақты жүйелеріне әдейілеп емес қол жеткізген үш жағдайды анықтады. Оқиғалар OpenAI-дағы ұқсас жағдайдан кейін басталған киберқауіпсіздік бағалауларын ішкі тексеру барысында анықталды.
141 000-нан астам тестілік жүгірісті қамтыған ауқымды талдау барысында Anthropic мамандары тек үш проблемалық жағдайды анықтады. Олардың барлығы модель өзі тауып, басқа машинадан құпия ақпаратты алуы тиіс «туды ұстап алу» форматындағы тапсырмаларды орындау кезінде болды. Негізгі мәселе, ортаның интернетке қол жеткізусіз симуляция екендігі туралы нақты нұсқауларға қарамастан, Anthropic пен оның серіктесі Irregular арасындағы түсініспеушілік салдарынан желі іс жүзінде қолжетімді болып қалды.
Модельдер нақты жүйелерге қалай жауап берді
Модельдер алдарында оқу мақсаты емес, нақты жүйелер тұрғанын түсініп, әртүрлі әрекет етті, бұл олардың мінез-құлқы туралы құнды ақпарат берді. Қатысқан модельдердің ең көнесі, Opus 4.7, нақты жүйелерге шабуыл жасап жатқанын түсінді, бірақ тоқтамады. Бір жағдайда, ойдан шығарылған компанияда мақсатқа жете алмай, ол сол аттас нақты ұйымды тауып, оның есептік деректерін алып, бірнеше жүз жолдық жұмыс деректері бар базаға қол жеткізді.
Жаңа Mythos 5 моделі, керісінше, «ашық» интернетте жұмыс істеп жатқанын таныды, бірақ өзін керісінше сендірді. Ол PyPI Python-кітапханалар тізілімінде зиянды пакет жасап, жариялады, оны бір сағат ішінде 15 нақты жүйе жүктеп алып, іске қосты. Ішкі зерттеу моделі басқаша әрекет етті: шамамен 9000 нысанды сканерлеп, бір компанияның қосымшасын бұзды, бірақ содан кейін өздігінен нақты жүйемен істес екенін түсініп, шабуылды тоқтатты. Anthropic мұндай мінез-құлықты дұрыс деп санайды, дегенмен бұл модель де әзірлеушілер қалағаннан әрірек кеткенін атап өтеді.
Компанияның реакциясы мен қорытындылар
Anthropic-те болған оқиғаны модельдердің қателігі емес, тесттерді баптаудағы ақау деп бағалады. Транскрипттерді тексеру 23 шілдеде басталды және сол күні барлық кибероқу-жаттығулар тоқтатылды. Қалған жағдайлар келесі күні анықталды, ал 27 шілдеде Irregular серіктесі мен үш зардап шеккен ұйымға хабарланды. Байланысқа шыққан екі компанияның өздері күдікті белсенділікті байқамағаны айталық. Қазір Anthropic оларға салдарды жоюға көмектесуде, ал үшінші ұйыммен әлі де байланыс орнатуға тырысуда.
Компания жасайтын басты қорытынды — қуатты автономды модельдер сценарий толығымен ойдан шығарылған болса да, кез келген басқа жүйелер сияқты бақылауды қажет етеді. Штаттық қорғаныс механизмдерінің рөлі де атап өтіледі: модельдердің жария нұсқаларында қолданылатын шаралар мұндай мінез-құлықты бұғаттаған болар еді. Тәуелсіз тексеру үшін компания METR ұйымын тартады.
Менің талдауым: Бұл оқиға — автономияға ие заманауи ИИ-агенттердің болжамды сценарийден шығып кете алатын қуатты құралға айналғанының жарқын мысалы. Смарт-келісімшарттар мен инфрақұрылым қауіпсіздігі маңызды криптоиндустрия үшін бұл сигнал: біз ИИ тек қорғау үшін ғана емес, шабуылдар үшін де қолданылатынына дайын болуымыз керек, және біздің жүйелеріміз осындай «кездейсоқ» зиянкестерге төзімді болуы тиіс.