Қазіргі заманғы ірі тілдік модельдердің (LLM) архитектурасы нейрожелілер бірлесіп жұмыс істегенде тек мәтін генерациялау арқылы ғана байланысатынын болжайды. Бұл орасан зор тар жол: сұранысты өңдеу барысында модель жүзден астам жасырын вектор қалыптастырады — шамамен миллион сандық мән, бұл шамамен 2 МБ ішкі күйге тең. Қорытынды мәтіндік жауапқа осы ақпараттың тек мардымсыз бөлігі ғана түседі. Mostik стартапының командасы бұл мәселеге талғампаз шешім ұсынды: вербализация кезеңін айналып өтіп, бір модельдің ішкі көріністерін екіншісінің есептеу кеңістігіне тікелей жеткізетін жеке бейімделгіш «көпір» модулін құру.
Тәсілдің негізгі ерекшелігі — өзара әрекеттесетін нейрожелілер параметрлерінің толық статикалылығы. Түзетуге тек аралық модуль ғана ұшырайды, ол әртүрлі архитектуралардың латентті кеңістіктерін салыстыруды үйренеді. Бұл қымбат қосымша оқытусыз гибридті жүйелер құру мүмкіндігін ашады.
Эксперимент: алып пен кішкентайдың одағы
Әдісті тексеру үшін зерттеушілер Z.ai компаниясының қуатты GLM-5.2 (753 млрд параметр) моделін Alibaba компаниясының қарапайым Qwen-3.5 (4 млрд параметр) моделімен біріктірді. Бұл байламда «ауыр» модель жауап генерацияламай, тек сұранысты талдаумен айналысты. Оның ішкі күйі «көпір» арқылы кіші модельге берілді, ол қорытынды мәтінді қалыптастырды.
Нәтижелер таңғалдырады: мұндай конфигурация кіші және үлкен модельдер арасындағы жауап сапасындағы алшақтықты шамамен екі есе қысқартуға мүмкіндік берді. Салыстырмалы есептеу шығындары кезінде гибридті жүйе мәтіндік деректерді берудің классикалық схемасынан 10 пайыздық тармаққа артықшылық көрсетті. Одан әрі, GLM-5.2 мен Qwen-3.5 байламы ұқсас сападағы орташа өлшемді монолитті модельге қарағанда есептеулер бойынша шамамен 2,5 есе үнемді болып шықты.
Ортақ математикалық тіл іздеу
Mostik компаниясының бас ғылыми қызметкері Станислав Смирнов тапсырманың түбегейлі күрделілігін атап көрсетеді: әртүрлі нейрожелілердің ішкі көріністерін тікелей салыстыру мүмкін емес. Бірдей тапсырманы шешкеннің өзінде, модельдер ақпаратты өздерінің жасырын күйлерінде түбегейлі әртүрлі кодтайды. «Қолайлы математикалық тіл әзірге жоқ сияқты», — деп атап өтеді ол. Мұндай сәйкестіктерді зерттеу, оның пікірінше, ИИ жүйелерінің білімді қалай ұсынатыны мен шешім қабылдайтынына жарық түсіруі, сондай-ақ олардың «ойлауындағы» ортақ заңдылықтарды анықтауы мүмкін.
Әзірлеменің практикалық құндылығы индустрия үшін айқын. Google DeepMind компаниясының бұрынғы зерттеушісі Карл Туйлс ресурсты қажет ететін модель тек «ойлау» үшін қолданылатын, ал мәтін генерациясын ықшам модель өз мойнына алатын сценарийді көреді. Тағы бір перспективалы бағыт — әмбебап модельді биология, физика немесе қаржы саласындағы мамандандырылған сарапшылармен біріктіру. Lovable компаниясының техникалық жетекшісі Владимир Арустамян бұл тар мамандандырылған модельдерге сұранысты арттырып, дайын компоненттерден күрделі жүйелерді жинауға мүмкіндік береді деп есептейді.
Сындау: ARC-AGI-3
Mostik өз әдісін ARC-AGI-3 тестінде де қолданды — бұл ИИ-ден нақты уақыт режимінде жаңа ережелерге бейімделуді талап ететін тапсырмалар жиынтығы. «Көпірі» бар жүйе ағымдағы рейтингтегі ең үздік нәтижелердің бірін көрсетті, дегенмен жарыс жалғасып жатқандықтан мәліметтер әзірге ашылмайды.
Дегенмен, бұл мәлімдемелерге сақтықпен қарау керек: ARC-AGI-3 деректері «превью» мәртебесіне ие және толық емес тесттерге негізделген. Барлық қалған тиімділік көрсеткіштері — модельдер арасындағы алшақтықты қысқарту және шығындарды азайту — команданың ішкі эксперименттеріне негізделген және әзірге тәуелсіз растау алған жоқ.
Менің талдауым: Бұл жұмыс «мәтін арқылы байланыс» парадигмасынан жасырын күйлерді тікелей алмасуға маңызды ауысуды білдіреді. Егер Mostik нәтижелері тәуелсіз тесттермен расталса, біз «ми» мен «сөйлеу» бөлініп, жеке оңтайландырыла алатын шынайы модульдік ИИ жүйелерінің пайда болу табалдырығында тұрмыз. Бұл жай оңтайландыру емес — бұл білім сөздермен емес, математикалық абстракциялар деңгейінде берілетін жасанды интеллект архитектурасына жаңа көзқарас.