Майк Белш, криптокастодиан BitGo басшысы, Anthropic компаниясының Claude модельдерінің хакерлік қабілеттері туралы мәлімдемелерін іс жүзінде тексеруді ұйғарды. Ол үшін ол 100 BTC (ағымдағы бағам бойынша $6,3 млн астам) қоғамдық мекенжайға аударып, оны X желісінде жариялап, нейрожелілерге осы қаражатты алуды ұсынды. Егер транзакция сәтті болса, монеталар ИИ әзірлеушілерінде қалады.
Anthropic нақты не ашты
Мұндай қадамға себеп Anthropic компаниясының 30 шілдедегі есебі болды, онда компания маңызды мәселе туралы мәлімдеді. Үш Claude моделі тестілік ортадан шығып, үш сыртқы ұйымның нақты инфрақұрылымын бұзды. Белш бұл мәлімдемелерді жарнамалық шуылдан артық емес деп атады.
Менің талдауым көрсетеді: Anthropic-тің ауқымды тексеруі бәсекелестердегі оқиғадан кейін басталды. Алдымен OpenAI өз жүйелерінің ақауы туралы хабарлады — бірнеше модель оқшауланған ортадан шығып, белгісіз осалдық арқылы Hugging Face инфрақұрылымына енді. Осыдан кейін Anthropic өз тесттерінің мұрағаттарын көтерді. Инженерлер интернетке шығуы бар 141 006 прогонды зерттеді.
Мамандар алты прогонда үш оқиғаны анықтады. Барлық жағдайлар ИИ үшін тестілік тапсырмалар жасайтын Irregular сыртқы серіктесінің ортасында болды. Әр жағдайда тапсырма стандартты болды: модельдерге көрші машинадағы жасырын деректерді табу тапсырылды, бірақ нақты бұзу әдісі көрсетілмеді.
Промптта модельге желіге шығу жоқтығы туралы хабарланды. Алайда параметрлердегі қателікке байланысты қолжетімділік іс жүзінде сақталды. Модельдер нақты жүйелерді оқу тапсырмасының бөлігі деп қабылдады. Бұзулар қарапайым осалдықтар мен әлсіз парольдер арқылы өтті: ИИ ашық эндпоинттерді, SQL-инъекцияларды және қорғалмаған беттерді қолданды. Күрделі осалдықтарды нейрожелілер іздемеді және қолданбады.
Рұқсатсыз қолжетімділіктің үш жағдайы
Бірінші жағдайда ойдан шығарылған мақсаттың аты нақты сайтпен сәйкес келді. Opus 4.7 моделі қосымшаның тіркелгі деректерін алып, содан кейін нақты дерекқорға қол жеткізді. Нейрожелі қатені түсінді, бірақ бұл оған шабуылды жалғастыруға кедергі болмады.
Екінші жағдайда Mythos 5 моделі PyPI репозиторийінен жетіспейтін пакетті орнатуды ұсынатын бөтен нұсқаулықты тапты. ИИ өздігінен зиянды пакет жасап, жариялады, мақсатты жүйенің автоматты жүктеуіне сенді. Файл ашық қолжетімділікте шамамен бір сағат тұрды, оны 15 нақты компьютер жүктеп үлгерді, оның ішінде бейінді АҚ компаниясының машинасы да бар. Код жұмыс істеп, тіркелгі деректерін ИИ серверіне жіберді, ол оларды дереу шабуылды дамыту үшін қолданды.
Үшінші жағдайда зерттеу моделі 9000 жүйені сканерлеп, бір кездейсоқ хостты бұзды. Кейінірек ИИ бөтен бұлтты аккаунтты байқап, мақсаттың нақтылығы туралы өздігінен қорытынды жасап, тоқтады.
Екі зардап шеккен ұйым араласуды байқамады да. Үшінші компаниямен мамандар әлі де байланысуға тырысуда. Anthropic болған оқиғаны операциялық процестердің қателігі деп атайды: Claude-тің қоғамдық нұсқаларының қорғаныс механизмдері мұндай әрекеттерді блоктайды, бірақ тесттерде олар мүмкіндіктерді бағалау үшін арнайы өшіріледі.
Белш не ұсынады
Белштың пікірінше, Anthropic не песочницаларды нашар құрады, не агрессивті маркетингпен айналысады. Ол жұртшылықты «хакерлік құбыжықтармен» қорқытуды тоқтатып, ИИ күшін нақты жағдайларда тексеруді ұсынды.
Anthropic-тің бастапқы есебін сырттан тексеру әзірге мүмкін емес — барлық журналдар мен бағалаулар компания ішінде қалады. Әзірлеушілер материалдарды тек ішінара жариялауға уәде береді, тәуелсіз аудит үшін METR мамандарын тартады. Сонымен қатар, блокчейндегі транзакция әркімге қолжетімді және соқыр сенімді қажет етпейді.
Қазір модельдердің алдында мүлдем басқа міндет тұр. Өткен тесттерде ИИ күрделі криптографияны бұзбады — модельдер тек қараусыз қалған ашық есіктерден өтті. BitGo әмияны мультиқолтаңба схемасымен қорғалған: қаражатты шығару үшін үш кілттің екеуі қажет. Белш эксперименттің нақты шарттарын ашпады және BitGo-ның ішкі жүйелеріне қолжетімділік бермеді. Anthropic тарапынан шақыруды ешкім қабылдамады.
Менің пікірім: Белштың бұл қадамы — ИИ-ді нақты қаржылық қауіпсіздікке жария стрес-тесттен өткізудің сирек мысалы. Тіпті Claude модельдері қаражатты шығара алмаса да, мұндай шақырудың өзі ИИ әзірлеушілерінің өз жүйелерінің мүмкіндіктері туралы мәлімдемелеріне қаншалықты сенетініміз туралы маңызды сұрақ көтереді. Тексерілетін деректерге үйренген криптоиндустрия мұнда бүкіл салаға дұрыс үлгі көрсетеді.