Coinbase бас директоры Брайан Армстронг компанияға жасанды интеллект шығындарын екі есеге жуық қысқартуға, сонымен бірге токен тұтынуды экспоненциалды түрде арттыруға мүмкіндік берген стратегияның егжей-тегжейлерімен бөлісті. Бұл қатаң шектеулердің немесе бюрократиялық кедергілердің нәтижесі емес, сауатты инженерлік оңтайландырудың салдары: әдепкі модель параметрлері, сұраныстарды бағыттау және агрессивті кэштеу.

Армстронгтың айтуынша, инженерлер кез келген модельді таңдауға ерікті, бірақ әдепкі параметрлер шешуші мәнге ие. Coinbase ішкі шлюз арқылы GLM 5.2 және Kimi 2.7 сияқты open-weight модельдерін негізгі етіп орнатумен тәжірибе жүргізеді. Бір қызығы, қызметкерлердің 91%-ы ешқашан шектеулерге тап болмаған, сондықтан компания квоталарды қатайтудың орнына шығындарды азайту жолын таңдады.

Үнемдеудің негізгі элементі — интеллектуалды бағыттау. Сұраныстар алдын ала талданып, кэшке түсу және құнын ескере отырып, ең қолайлы модельге жіберіледі. Мысалы, стратегиялық жоспарлау үшін озық модель қажет, бірақ күнделікті тапсырмалар үшін ол артық. Армстронг модельді таңдауды ең дұрысы адам емес, ЖИ-дің өзі автоматтандыруы керек екенін атап өтеді.

Кэштеудің рөлі ерекше атап өтілді. Сақталған деректерді жіберіп алу — шығындарды көтерудің ең оңай жолы. Coinbase-те барлық сұраныстар бұрын өңделген ақпаратты қайта пайдалануға бағытталған. LibreChat қызметінде дұрыс параметрлерден кейін кэшке түсу үлесі 5%-дан 60%-ға дейін өсті.

Сондай-ақ контексті үнемдеу маңызды. Армстронг тапсырмаларды ауыстырған кезде жаңа сессияларды бастауға, файлдардың контекстін тар шектеуге және пайдаланылмайтын құралдарды өшіруге кеңес береді. Мақсат — токендерді аз жұмсау емес, оларды босқа жұмсамау.

Дойчердің «штанга» стратегиясы

Аналитик Майлз Дойчер ұқсас тәсілді сипаттайды, оны «токен инженериясы» және шығындарды 50% және одан да көп қысқартуға арналған «штанга» стратегиясы деп атайды. Жұмыстың алғашқы 10% (жоспарлау) үшін ол Opus немесе GPT сияқты ең ақылды модельдерге сенеді. Негізгі 80% күнделікті жұмыс арзан open-source модельмен орындалады. Соңғы 10% (нәтижені тексеру) қайтадан жоғары деңгейлі модельдерге тапсырылады. Дойчер бұл схеманы бірнеше ай бойы қолданып келеді және оны ЖИ-ге шамадан тыс шығындарды азайтудың ең жақсы тәсілі деп санайды.

Cryptalist аналитикасы: Coinbase тәжірибесі — ЖИ енгізу тиімділігі бюджетпен емес, архитектурамен анықталатынының айқын мысалы. Тапсырмаларды күрделілігі бойынша бөлу және кэштеуді барынша арттыру — бұл тек алып компанияларға ғана емес, кез келген компанияға қолжетімді «жылдам жеңістер». Нарық ең қымбат модельдер үшін жарыстан оларды ұтымды қолдану дәуіріне көшуде.