Клодтың ішкі архитектурасы: Anthropic кенеттен пайда болған «жұмыс кеңістігін» J-space анықтады
Anthropic зерттеушілері өздерінің Claude тілдік модельдерінің ішкі құрылымын түсінуде серпіліс жасады. Талдау барысында олар әзірлеушілер бастапқыда архитектураға енгізбеген құрылымды — «J-space» деп аталатынды анықтады. Бұл механизм модельдің әртүрлі компоненттері жүгінетін ортақ жұмыс кеңістігі ретінде жұмыс істейді.
6 шілдеде жасалған бұл жаңалық үлкен тілдік модельдердің «қара жәшігін» зерттеудегі маңызды қадам болды. J-space — бұл Claude желі бойынша маңызды деректерді жинап, жіберетін ішкі орта. Оны жасанды интеллект ішіндегі виртуалды тақта ретінде елестету оңай.
J-space қалай жұмыс істейді
Claude сұраққа жауап бергенде, мәселені шешкенде немесе нұсқаулықты орындағанда, негізгі ақпарат J-space-те пайда болады, осылайша модельдің әртүрлі бөліктері онымен әрекеттесе алады. Бұл құрылымды анықтау үшін Anthropic мамандары «J-lens» деп аталатын арнайы құралды әзірледі. Оның көмегімен зерттеушілер тапсырманы орындау кезінде модель ішінде ақпараттың қалай қозғалатынын бақылады.
Айта кетерлігі, J-space оқыту процесінде өздігінен пайда болды — конструкторлар оны тікелей енгізбеген. Бұл тұжырымдама нейроғылымда «жаһандық жұмыс кеңістігі» деп аталатын нәрсемен көп жағынан үндеседі. Адамдарда бұл жүйе бірнеше ойлау процестері үшін маңызды ақпаратқа бір уақытта қол жеткізуді қамтамасыз етеді. Мысалы, біз сұрақты естігенде, қажетті фактіні еске түсіргенде және қалай жауап беру керектігін шешкенде, ми барлық қажетті деректерді бір жерде жинақтайды.
Эксперименттер Claude сұрау бойынша J-space мазмұнын сипаттай алатынын және тіпті сұралса, оны өзгерте алатынын көрсетті. Сонымен қатар, зерттеушілер J-space-ті қолмен өзгерткенде, Claude жауаптары мен тапсырмаларды орындау кезіндегі мінез-құлқы сәйкесінше өзгерді.
ЖИ қауіпсіздігі мен интерпретациялануы үшін маңызы
Бұл жаңалық жасанды интеллект қауіпсіздігі үшін үлкен маңызға ие. Егер ғалымдар J-space белсенділігін бақылай алса, олар ЖИ-модельдерінің мінез-құлқындағы жасырын мотивтерді анықтауға және жүйе сенімсіз жұмыс істей бастаған сәттерді тиімдірек байқауға мүмкіндік алады.
Бұл әсіресе prompt-injection шабуылдарын — модель жауабын басқару үшін сұрауға зиянды нұсқауларды енгізуді анықтау үшін маңызды. J-space мониторингі модельдің осындай әрекеттерге тап болған сәтін көруге мүмкіндік береді. Тіпті осы «саналы» өңдеу қабатына ішінара қол жеткізу одан әрі зерттеулер үшін маңызды перспективалар ашады.
Айта кету керек, мүмкіндіктер әзірге шектеулі: Claude-тегі ақпаратты өңдеудің үлкен бөлігі әлі де J-space-тен тыс жүреді. Дегенмен, Anthropic J-lens бағдарламалық жасақтамасының бастапқы кодын жариялап, Neuronpedia-да демо-нұсқасын орналастырып, зерттеу қауымдастығын нәтижелерді тәжірибеде тексеруге шақырды. Бұл компанияның модельдердің әл-ауқатын зерттеу бойынша жұмыстарының сериясын жалғастырады және бізді ЖИ жүйелерінің ішінде не болып жатқанын түсінуге қадам сайын жақындатады.
Сарапшының пікірі: J-space анықтауы — бұл жай академиялық қызық емес, неғұрлым ашық және басқарылатын ЖИ жүйелерін құрудың әлеуетті кілті. Криптоиндустрия үшін, мұнда смарт-келісімшарттар мен алгоритмдік шешімдер максималды болжамдылықты талап етеді, мұндай интерпретациялау механизмдері сенімді AI-агенттердің жаңа буынының негізі бола алады.