Coinbase жасанды интеллектке жұмсалатын шығындарды екі есеге қысқартты, ал токендерді тұтыну көлемі күрт өсті: құпия лимиттерде емес
Coinbase бас директоры Брайан Армстронг биржаның токендерді тұтынудың экспоненциалды өсуіне қарамастан, жасанды интеллект шығындарын қалай екі есеге дерлік қысқартқаны туралы мәліметтермен бөлісті. Табыс кілті — қатаң шектеулер мен бюджеттік лимиттерде емес, инфрақұрылымды ақылды баптауда.
Армстронг тікелей мәлімдеді: Coinbase инженерлері кез келген ЖИ моделін таңдай алады, бірақ шешуші мәнге әдепкі параметрлер ие. Компания ішкі шлюз арқылы әдепкі бойынша GLM 5.2 және Kimi 2.7 сияқты ашық салмағы бар арзан модельдерді қолдануды сынап жатыр. Айта кетерлігі, қызметкерлердің 91%-ы белгіленген лимиттерге ешқашан тап болмаған, сондықтан Coinbase квоталарды азайтудың орнына әдепкі параметрлерді оңтайландыру жолын таңдады. Бұл шығындардың өсуін тежеп қана қоймай, оны кері бағытта өзгертуге мүмкіндік берді.
Маршрутизация, кэштеу және контексті үнемдеу
Coinbase-тің меншікті жүйелерінде сұраулар алдын ала өңделіп, кэшке түсу ықтималдығы мен құнына негізделе отырып, ең қолайлы модельге бағытталады. Мысалы, жоспарлау үшін озық модель қажет, бірақ күнделікті орындау үшін артық. Армстронг модельді таңдауды сайып келгенде адам емес, ЖИ-дің өзі автоматтандыруы керек екенін атап көрсетеді.
Кэштеуге ерекше назар аударылады. Сақталған деректерді жіберіп алу — шығындарды көтерудің ең оңай жолы. Coinbase-те барлық сұраулар бұрын өңделген ақпаратты қайта пайдалануға бапталған. LibreChat қызметінде дұрыс баптаудан кейін кэшке түсу үлесі 5%-дан 60%-ға дейін өсті.
Сондай-ақ контексті үнемдеу өте маңызды. Армстронг тапсырмалар ауысқанда жаңа сессияларды бастауға, файлдар контекстін тар шектеуге және пайдаланылмайтын құралдарды өшіруге кеңес береді. Мақсат — аз токен жұмсау емес, олардың пайдасыз жұмсалуын азайту. Дәл осы кешенді тәсіл Coinbase-ке тұтынудың үздіксіз өсуі аясында ЖИ шығындарын екі есеге дерлік қысқартуға мүмкіндік берді.
Дойчердің «штанга» стратегиясы: 10-80-10
Аналитик Майлз Дойчер ұқсас тәсілді сипаттап, оны «токен инженериясы» дәуірі деп атайды. Ол ЖИ шығындарын 50% және одан да көп қысқарту үшін «штанга» стратегиясын ұсынады. Жұмыстың алғашқы 10%-ын (жобаны жоспарлау) ол Opus немесе GPT сияқты ең ақылды модельдерге сеніп тапсыруды ұсынады, себебі бұл ең маңызды кезең.
Оның пікірінше, негізгі 80% күнделікті жұмысты ашық бастапқы коды бар арзан модельмен орындау керек. Соңғы 10% және нәтижені тексеруді ол қайтадан жоғары деңгейлі модельдерге тапсырады. Дойчер бұл схеманы бірнеше ай бойы қолданып келе жатқанын және оны ЖИ-ге шамадан тыс шығындарды азайтудың ең жақсы тәсілі деп санайтынын айтады.
Cryptalist аналитикасы: Coinbase тәжірибесі — бүкіл индустрия үшін көрнекі оқулық. Біз «жай ғана ең қуатты модельді қолдан» дәуірінен «дұрыс тапсырма үшін дұрыс модельді қолдан» дәуіріне көшіп жатырмыз. Ақылды маршрутизация және агрессивті кэштеу — бұл жай ғана үнемдеу емес, бұл тиімділіктің жаңа стандарты. Мұндай тәжірибелерді енгізбеген компаниялар ЖИ-ді бақылаусыз тұтынуда капиталды жай ғана жағып жіберу қаупіне ұшырайды.