Anthropic компаниясының сенсациялық жаңалығы: Claude ішінде жоспарланбаған «сана жұмыс тақтасы» табылды
Anthropic зерттеу тобы жасанды интеллект интерпретациясы саласында серпіліс жасады. Claude тілдік моделінің ішкі процестерін талдау барысында әзірлеушілер бастапқыда архитектураға енгізбеген құрылым анықталды. «J-space» деп аталатын бұл механизм модельдің әртүрлі компоненттері тапсырмаларды орындау кезінде жүгінетін жаһандық жұмыс кеңістігі ретінде жұмыс істейді.
Негізінде, J-space — бұл Claude сұранысқа жауап беру, тапсырманы шешу немесе нұсқаулықты орындау кезінде негізгі ақпаратты жинап, өңдейтін виртуалды «тақта». Бұл модельдің әртүрлі бөліктері деректер алмаса алатын орталық хаб тәрізді нәрсе. Anthropic ғалымдары бұл процесті арнайы «J-lens» құралының көмегімен бейнелей алды. Ең таңғаларлығы, бұл құрылым инженерлер бағдарламаламаған, модельді оқыту процесінде өздігінен пайда болды.
Бұл жаңалық неліктен серпіліс болып табылады?
J-space анықталуы ЖИ қауіпсіздігі мен бақылауы үшін орасан зор маңызға ие. Осы «жұмыс кеңістігіндегі» белсенділікті бақылау мүмкіндігі модельдің «ойларына» тікелей қол жеткізуді ашады. Біз ЖИ мінез-құлқындағы жасырын мотивтерді бақылай аламыз. Мысалы, J-space мониторингі зиянкес сұранысқа зиянды нұсқауларды енгізуге тырысқанда, prompt-injection шабуылдарын нақты уақытта анықтауға мүмкіндік береді.
Сонымен қатар, зерттеушілер J-space мазмұнына қолмен араласу Claude жауаптары мен мінез-құлқын тікелей өзгертетінін көрсетті. Бұл бізге бұрын тек армандауға болатын басқару тетіктерін береді. Модельдегі ақпаратты өңдеудің үлкен бөлігі әлі де J-space-тан тыс жерде жүрсе де, мұндай «саналы түрде қолжетімді» өңдеу қабатының бар болу фактісінің өзі тектоникалық ығысу болып табылады.
Менің сараптамалық пікірім: Бұл жаңалық нейрондық желілердің «қара жәшігі» туралы пікірталасты практикалық жазықтыққа ауыстырады. Біз жай ғана ішке қарап қоймаймыз — біз модельдің «ойлайтын» тілін түсіне бастаймыз. Автоматтандыру мен смарт-келісімшарттар өте маңызды болып табылатын криптоиндустрия үшін бұл шынайы ашық және тексерілетін ЖИ-агенттерін құруға бағытталған қадам. Дегенмен, есте сақтау маңызды: «саналы түрде қолжетімді» ақпарат термині — бұл Claude-да сананың бар екендігі туралы мәлімдеме емес, когнитивті ғылымнан алынған метафора.