Alibaba жасанды интеллектіні физикалық әлемге шығарады: роботтарды басқаруға арналған Qwen-Robot Suite модельдер стегі ұсынылды
Alibaba Cloud физикалық жасанды интеллект (Physical AI) саласында маңызды қадам жасап, Qwen-Robot Suite-ті ұсынды. Бұл жай ғана тағы бір тілдік модель емес, үш мамандандырылған модельден тұратын толыққанды стек, олардың әрқайсысы робототехниканың нақты міндетін шешеді: навигация, объектілерді манипуляциялау және физикалық көріністерді болжау. Qwen командасы бұл жобаны «тұлғаланған интеллектке арналған толық стек» деп атайды.
Жаңа серпілістің мәні мынада: үлкен тілдік модельдер (LLM) мәтінмен, суреттермен және бейнемен тамаша жұмыс істейді, бірақ нақты әлеммен өзара әрекеттесу үшін бұл жеткіліксіз. Роботтар табиғи тілдегі бұйрықты түсініп қана қоймай, оны физикалық әрекетке аударуы керек: қозғалу, ұстау, гравитацияны және объектілердің қасиеттерін ескеру. Qwen-Robot Suite цифрлық және физикалық арасындағы осы алшақтықты жабуды көздейді.
Qwen-RobotNav: Әмбебап навигатор
Стектегі бірінші модель, Qwen-RobotNav, Qwen3-VL негізінде құрылған және навигациялық тапсырмалардың бес түріне арналған әмбебап шешуші болып табылады: нұсқауларды орындау, нүктеге қозғалу, объектілерді іздеу, мақсатты қадағалау және автономды жүргізу. Модель визуалды-тілдік пайымдауға қатысты 15,6 миллион үлгіге оқытылған.
Нәтижелер әсерлі: күрделі VLN-CE RxR бенчмаркінде 76,5% сәттілік және EVT-Bench-те 90%. Нақты сценарийлерде бұл роботтың жай ғана қозғала алмайтынын, мысалы, кеңседе жоғалған затты тауып, пайдаланушыға визуалды дәлел ұсына алатынын білдіреді. Qwen-RobotNav үлкен агенттік жүйелер үшін атқарушы модуль ретінде жұмыс істей алады, мұнда жоғарғы деңгейдегі модель тапсырманы жоспарлайды, ал бұл модель қозғалысқа жауап береді.
Qwen-RobotManip: Манипуляция шебері
Екінші модель, Qwen-RobotManip, робототехниканың негізгі мәселелерінің бірін — жабдықтың гетерогенділігін шешеді. Әртүрлі роботтар (манипуляторлар, екі қолды платформалар, мобильді жүйелер) әртүрлі координат жүйелері мен пәрмен форматтарын пайдаланады. Qwen-RobotManip бірыңғай ұсыныс жасауға тырысады, бұл дағдыларды роботтардың әртүрлі түрлері арасында тасымалдауға мүмкіндік береді.
Оқыту үшін 38 100 сағаттан астам деректер пайдаланылды, оның ішінде 11 320 сағат ашық робототехникалық деректер, 1933 сағат адам әрекетінің бейнежазбалары және 24 808 сағат синтетикалық демонстрациялар. Модель RoboChallenge Table30 v1 сайысында бірінші орынды иеленіп, жаңа нұсқаулар мен бейтаныс объектілерге төзімділік танытады.
Qwen-RobotWorld: Болашақты болжаушы
Үшінші модель, Qwen-RobotWorld, мәтінмен басқарылатын бейнеәлем моделі. Ол ағымдағы бақылау мен пәрменді алып, содан кейін ортаның ықтимал болашақ күйін жасайды. Бұл әрекеттерді жоспарлау және оқыту үшін синтетикалық деректерді жасау үшін өте маңызды.
Модель оқытылған Embodied World Knowledge корпусы 8,6 миллион «бейне-мәтін» жұбын және 200 миллионнан астам кадрды қамтиды, олар 20 типтегі роботтар мен 500 әрекет категориясын қамтиды. Qwen-RobotWorld EWMBench және DreamGen Bench бенчмарктерінде бірінші орындарды иеленіп, WorldModelBench және PBench-тегі барлық ашық модельдерден асып түсті, физиканы (қозғалыс, гравитация, сұйықтықтар) жоғары деңгейде түсінетінін көрсетті.
Менің талдауым: Qwen-Robot Suite — стратегиялық тұрғыдан дұрыс қадам. Alibaba ойыншық робот жасауға тырыспайды, керісінше болашаққа іргелі платформа құруда. Дегенмен, жаппай енгізуге әлі алыс. Нақты жағдайлар шуыл, тозу және симуляторлар ескермейтін стандартты емес жағдайларға толы. Соған қарамастан, дәл осындай «стектер» — ЖИ жай сөйлеп қана қоймай, әрекет ететін болашақтың кілті.