Coinbase бас директоры Брайан Армстронг компанияға есептеуіш токендерді тұтынудың экспоненциалды өсуіне қарамастан, жасанды интеллект шығындарын екі есеге дерлік қысқартуға мүмкіндік берген механизмді ашты. Оның айтуынша, табыс кілті қатаң шектеулер мен бюрократиялық тыйымдарда емес, ақылды архитектурада: әдепкі параметрлерде, сұраныстарды маршруттауда және агрессивті кэштеуде.
Армстронг Coinbase инженерлері жұмыс үшін кез келген модельді таңдай алатынын, бірақ шешуші мәнге ие болатыны дәл әдепкі конфигурациялар екенін атап өтті. Компания белсенді түрде эксперимент жасап, ішкі шлюз арқылы қолжетімді GLM 5.2 және Kimi 2.7 сияқты ашық салмақтары бар жеңіл модельдерді әдепкі бойынша орнатады. Таңқаларлығы, қызметкерлердің 91% белгіленген шектеулерге ешқашан тап болмаған — сондықтан компания шығын шегін төмендетудің орнына, негізгі параметрлерді арзандату жолымен кетті.
Маршруттау, кэш және контексті үнемдеу
Coinbase ішкі жүйесі әрбір сұранысты алдын ала талдап, кэшке түсу ықтималдығы мен қорытынды құнын ескере отырып, оны ең қолайлы модельге автоматты түрде бағыттайды. Мысалы, стратегиялық жоспарлау үшін озық модель қажет, бірақ күнделікті орындау үшін ол артық және қымбат. Армстронг модельді таңдауды идеалды жағдайда адам емес, ЖИ-дің өзі автоматтандыруы керек деп талап етеді.
Кэштеуге ерекше назар аударылған. Сақталған деректерден тыс қалу — шотты көтерудің ең жылдам жолы. Coinbase-тегі барлық сұраныстар өңделген ақпаратты қайта пайдалануға бапталған. LibreChat қызметінде дұрыс баптаудан кейін кэшке түсу үлесі 5%-дан 60%-ға дейін өсті. Сондай-ақ «контексті үнемдеу» өте маңызды: Армстронг тапсырмаларды ауыстырған кезде жаңа сессияларды бастауға, файлдар контекстін қатаң шектеуге және пайдаланылмайтын құралдарды өшіруге кеңес береді. Мақсат — жалпы токендерді аз жұмсау емес, оларды босқа жұмсамау. Дәл осы тәсіл Coinbase-ке тұтынудың үздіксіз өсуі кезінде ЖИ шығындарын екі есеге дерлік қысқартуға мүмкіндік берді.
Дойчердің «штанга» стратегиясы
Ұқсас әдісті талдаушы Майлз Дойчер «токен инженериясы» деп атап, насихаттайды. Ол ЖИ шығындарын 50% және одан да көп қысқарту үшін «штанга» стратегиясын ұсынады. Жұмыстың алғашқы 10% және жобаны жоспарлауды Дойчер ең ақылды модельдерге (Opus, GPT) сеніп тапсыруды ұсынады — бұл өте маңызды кезең. Негізгі 80% күнделікті жұмысты ашық бастапқы коды бар арзанырақ модель орындауы керек. Соңғы 10% және нәтижені тексеруді ол қайтадан жоғары деңгейлі модельдерге тапсырады. Дойчер бұл схеманы бірнеше ай бойы қолданып келеді және оны ЖИ-ге шамадан тыс шығындарды тежеудің ең жақсы тәсілі деп санайды.
Сарапшы пікірі: Coinbase тәжірибесі — есептеу шығындары жоғары дәуірде көп жұмсайтын емес, ақылды жұмсайтын жеңетінінің айқын мысалы. «Барлығына ең қуатты модель» моделінен интеллектуалды маршруттау мен кэштеуге көшу — бұл жай ғана үнемдеу емес, инженерлік мәдениеттің жаңа стандарты. Дойчердің «штанга» стратегиясы бұл тәсілді логикалық түрде толықтырып, кез келген әзірлеушілер тобына прагматикалық үлгі ұсынады. ЖИ нарығы толық оңтайландыруға қарай жылжуда және Coinbase бұл жерде — ең жарқын алғашқылардың бірі.