Жасанды интеллект индустриясында үнсіз, бірақ маңызды өзгеріс пісіп жетілуде. Біз нейрожелілер арасындағы ынтымақтастық аралық мәтінді генерациялау арқылы жүзеге асады деп үйреніп қалдық — бұл бір алгоритмге беру үшін ойларды адам тіліне «аудару» сияқты. Алайда Mostik бренді астындағы әзірлеушілер тобы түбегейлі басқа жолды ұсынады: вербалды кезеңді айналып өтіп, ішкі күйлермен тікелей алмасу.
Әдістің мәні мен «көпір» деп атайтын арнайы бейімделгіш модульді қолдануда. Ол бір модельдің жасырын векторларын екіншісіне түсінікті форматқа түрлендіреді, ал нейрожелілердің өз параметрлері өзгеріссіз қалады. Бұл принципті маңызды: біз модельдерді қосымша оқытпаймыз, тек олардың үздіксіз өзара әрекеттесуі үшін аралық қабат жасаймыз.
Сандар мен эксперименттер: алыптарда тексеру
Әзірлеушілер бір токенді генерациялау кезінде үлкен тілдік модель жүзден астам жасырын вектор қалыптастырады — бұл шамамен миллион сандық мән немесе шамамен 2 МБ дерек. Мәтіндік жауапқа осы байлықтың тек аз ғана бөлігі түседі. Олардың беру арнасы дәл осы бай ішкі көріністерге бағытталған.
Эмпирикалық тексеру әсерлі көрінеді. Z.ai компаниясының алып GLM-5.2 (753 млрд параметр) және Alibaba компаниясының ықшам Qwen-3.5 (4 млрд параметр) моделінің байланысында үлкен модель сұрауды өңдеді, бірақ жауап генерацияламады. Оның орнына оның ішкі күйі «көпір» арқылы кіші модельге берілді, ол қорытынды мәтінді қалыптастырды. Мұндай тандем, авторлардың айтуынша, модельдер арасындағы сапа айырмашылығының шамамен жартысын жапты. Мәтінді классикалық берумен салыстырғанда жаңа әдіс тең есептеу шығындары кезінде 10 пайыздық тармаққа дейін артықшылық көрсетті. Сонымен қатар, гибридті жүйе салыстырмалы нәтижесі бар орташа өлшемді модельге қарағанда шамамен 2,5 есе аз есептеулерді қажет етті.
Негізгі мәселе: ортақ «тілді» іздеу
Зерттеушілердің өздері мойындайтын басты қиындық — әртүрлі архитектуралар үшін бірыңғай математикалық кеңістіктің болмауы. Mostik компаниясының бас ғылыми қызметкері Станислав Смирнов әділ атап өтеді: «Қолайлы математикалық тіл әзірге жоқ сияқты». Әртүрлі желілердегі ақпаратты ішкі кодтау бірдей есептерді шешу кезінде де түбегейлі ерекшеленуі мүмкін. Сондықтан «көпір» бейімделгіш болуы керек — ол жасырын күйлердің бір «диалектісінен» екіншісіне аударуды үйренеді.
Тәсілдің практикалық құндылығы айқын: біз ауыр модельді тек күрделі ой жұмысы үшін қолдана аламыз, ал жауап генерациясын жеңіл модельге жүктей аламыз. Бұл барлық деректерде бірден алып модельді оқыту қажеттілігінсіз әмбебап және тар мамандандырылған модельдерді біріктіретін гибридті жүйелерді құру жолын ашады.
Бағалау және скептицизм
ARC-AGI-3 тесттеріндегі қызықты нәтижелерге қарамастан, мұнда жүйе ең үздік нәтижелердің бірін көрсетті, салауатты скептицизмді сақтау керек. Барлық мәлімделген көрсеткіштер команданың ішкі эксперименттеріне негізделген және әлі сыртқы растау алған жоқ. Дегенмен, егер әдіс расталса, біз ИИ-ді масштабтаудағы жаңа парадигманың табалдырығында тұрмыз, мұнда тиімділікке параметрлерді көбейту арқылы емес, мамандандырылған агенттер арасындағы ақылды коммуникация арқылы қол жеткізіледі.
Менің үкімім: бұл батыл және әлеуетті серпінді қадам, бірақ продакшнға дейін оған алыс. Негізгі сұрақ — «көпір» зертханалық жағдайлардан тыс әртүрлі архитектуралар мен есептерде қаншалықты тұрақты жұмыс істейді. Дамуын бақылап отырамыз.