Менің командам мен Nvidia инженерлері жүргізген техникалық эксперимент аясында Cosmos 3 Nano моделі өнімділіктің әсерлі секірісін көрсетті. Бастапқыда төрт жауап нұсқасы бар тестте модельдің дәлдігі 54,41% құрады. Алайда, 24 сағаттан аз уақыт ішінде Codex AI-агентінің автономды жұмысының арқасында бұл көрсеткіш 93,35%-ға дейін көтерілді.
Табыстың негізгі факторы Woven by Toyota компаниясының Woven Traffic Safety мамандандырылған деректер жиынтығын пайдалану болды, оның құрамына сұрақтары бар жол жағдайларының 8000-нан астам бейне мысалы кіреді. Nvidia TAO құралдар жиынтығынан алдын ала дайындалған нұсқаулар бойынша әрекет ететін Codex агенті базалық модельді өз бетінше бағалап, LoRA (Low-Rank Adaptation) әдісін таңдады.
Қызығы, Codex жай ғана процесті іске қосқан жоқ. Ол аналитикалық қабілеттерін көрсетті: деректер жиынтығы конфигурациясында кадр жиілігінің жоқ параметрін анықтап, оны түзетті, модель салмағын жүктеп, оқыту контейнерін іске қосты. Сегіз NVIDIA A100 (80 ГБ) үдеткішіндегі LoRA-ның алғашқы іске қосылуы небәрі 30 минутқа созылып, дәлдікті 87,14%-ға дейін көтерді.
Екінші кезеңде әзірлеушілер гиперпараметрлерді байес оңтайландыру үшін TAO AutoML құралын пайдаланды. Жүйе 43 параллель сынақ жүргізіп, оқу жылдамдығын, пакет өлшемін және LoRA параметрлерін іріктеді. Ең жақсы нәтиже – 93,35% – Oracle Cloud Infrastructure-тегі бірнеше A100 түйінінде 19,5 сағат ішінде қол жеткізілді.
Маңыздысын атап өту керек: агент автономды әрекет еткенімен, оның мүмкіндіктері алдын ала берілген нұсқаулармен шектелді. Ол жаңа стратегияларды жасамады, тек алдын ала анықталған жұмыс процесін орындады. Сонымен қатар, 93,35% көрсеткіші нақты зерттеу деректер жиынтығына қатысты және нақты автономды жүргізу қауіпсіздігінің индикаторы емес.
Менің сараптамалық бағам: Бұл эксперимент машиналық оқытуды автоматтандыру технологияларының жетілгендігін көрсетеді. LoRA AutoML-мен үйлескенде толық қайта оқытумен салыстырғанда GPU-сағаттарын 7 есеге дейін үнемдеуге мүмкіндік береді. Дегенмен, мұндағы негізгі қорытынды – дәлдік емес, итерация жылдамдығы. Бір тәулік ішінде базалық модельден жоғары дәлдікті мамандандырылған шешімге дейін өту мүмкіндігі – бұл MLOps-тегі серпіліс, ол ИИ-ді өнеркәсіптік сценарийлерге енгізуді айтарлықтай жеделдетеді.