Nvidia корпорациясы машиналық оқытудағы автоматтандырудың жаңа деңгейін көрсететін көрнекі эксперимент жүргізді. Өзінің Codex ИИ-агенті мен TAO құралдар жинағын пайдалана отырып, инженерлер 24 сағаттан аз уақыт ішінде Toyota компаниясының Woven Traffic Safety мамандандырылған деректер жиынтығында Cosmos 3 Nano моделінің дәлдігін 54,41%-дан 93,35%-ға дейін арттыра алды. Бұл жай ғана оңтайландыру емес — бұл модельдерді пост-тренингке қатысты тәсілдегі парадигманың өзгеруі.
Эксперимент қалай өтті
Ешқандай бейімделусіз базалық Cosmos 3 Nano төрт жауап нұсқасы бар тестте 54,41% нәтиже көрсетті. Әзірлеушілер Codex агентіне модельді талдауды және LoRA (Low-Rank Adaptation) әдісімен қосымша оқытуды жүргізуді тапсырды. Агент жай ғана скриптті іске қоспады — ол Cosmos-reason нұсқаулығын өз бетінше таңдады, деректер жиынтығының аннотацияларында кадр жиілігі параметрінің жоқтығын анықтады, конфигурацияны түзетті, салмақтарды жүктеді және оқыту контейнерін іске қосты.
Сегіз NVIDIA A100 (80 ГБ) үдеткішіндегі LoRA-ның бірінші іске қосылуы небәрі 30 минутқа созылды және дәлдікті 87,14%-ға дейін көтерді. Бұл әсерлі секіріс, бірақ Nvidia одан әрі жүрді.
Гиперпараметрлерді автоматты оңтайландыру
Екінші кезеңде әзірлеушілер гиперпараметрлерді автоматты түрде таңдау үшін TAO AutoML-ді іске қосты: оқу жылдамдығы, батч өлшемі, LoRA параметрлері және басқа параметрлер. Жүйе байес оңтайландыруымен 43 параллель сынақ жүргізді. Ең жақсы конфигурация 93,35% берді — және бұл Oracle Cloud Infrastructure-тегі бірнеше A100 түйіндерінде 20 сағаттан аз есептеу уақытында қол жеткізілді.
Әдістің негізгі артықшылығы — ресурстарды үнемдеу. Nvidia есептеулері бойынша, LoRA модельді толық қосымша оқытуға қарағанда шамамен жеті есе аз GPU-сағатты қажет етті. Бұл тұтас кластерлерді жалдамай-ақ үлкен модельдерді бейімдегісі келетін компаниялар үшін өте маңызды.
Бұл индустрия үшін нені білдіреді
Контексті түсіну маңызды: 93,35% көрсеткіші тек Woven Traffic Safety зерттеу деректер жиынтығының тексеру бөлігіне қатысты. Бұл автономды жүргізу қауіпсіздігінің сынағы емес және модельдің нақты уақытта шешім қабылдау қабілетінің растауы емес. Дегенмен, принциптің өзі — қосымша оқыту үшін ИИ-агентін пайдалану — жаңа көкжиектерді ашады.
Менің талдауым: біз модельдерді қолмен баптаудан агенттік-бағдарланған пайплайндарға көшуді байқап отырмыз. Бұл эксперименттегі Codex жай ғана пәрмендерді орындамады — ол деректерді талдады, конфигурациядағы қателерді түзетті және оңтайлы стратегияларды таңдады. Оның автономиясы алдын ала дайындалған нұсқаулықтармен шектелгенімен, бұл толық автоматтандырылған ML-әзірлеу циклдарына бірінші қадам. Алдағы жылдары мұндай агенттер пост-тренинг үшін стандартқа айналады, әсіресе базалық модельдерді нақты деректер жиынтықтарына жылдам бейімдеуді қажет ететін тар домендерде.