Корпоративті қаржы әлемінде айтылмаған ереже бар: егер ресурстарды тұтыну өссе, бюджет те оның соңынан ереді. Бірақ Coinbase бас директоры Брайан Армстронг бұл ережені бұзуға болатынын және бұзу керек екенін айқын көрсетіп отыр. Компания токендерді тұтыну экспоненциалды түрде өскеніне қарамастан, жасанды интеллект шығындарын екі есеге жуық қысқарта алды. Бұл қалай мүмкін болды? Жауап лимиттерді қысқартуда емес, инженерлік процестерді түбегейлі оңтайландыруда жатыр.

Шектеулер емес, ақылды маршрутизация

Coinbase стратегиясының негізгі қорытындысы: толық бақылау және қатаң квоталар — бұл тұйық жол. Қызметкерлерге шектеулер қоюдың орнына, компания «дұрыс әдепкі параметрлерге» назар аударды. Армстронг 91% қызметкерлер ешқашан лимиттерге тап болмағанын, сондықтан шекті мәндерді төмендету мағынасыз болар еді деп атап көрсетеді. Шешім сұраныстарды интеллектуалды маршрутизациялаудан табылды. Жүйе белгілі бір тапсырма үшін қандай ЖИ моделін қолдану керектігін өзі анықтайды. Стратегиялық жоспарлау үшін ең қуатты (және қымбат) модельдер, ал күнделікті орындау үшін жеңіл және арзан модельдер, соның ішінде GLM 5.2 және Kimi 2.7 сияқты ашық шешімдер пайдаланылады.

Кэш және контекст: үнемдеудің екі тірегі

Армстронг тұтыну мен шығындар арасындағы байланысты үзуге мүмкіндік берген екі негізгі құралды атап өтті. Біріншісі — кэштеу. Coinbase өңделген деректерді қайта пайдалану үшін архитектураны қайта құрды. LibreChat қызметінде кэшке түсу үлесі апатты 5%-дан әсерлі 60%-ға дейін өсті. Бас директордың айтуынша, кэшті жіберіп алу — бюджетті босқа жағудың ең жылдам жолы. Екінші құрал — контексті үнемдеу. Компания тапсырмаларды ауыстыру кезінде жаңа сессияларды бастау, файлдар контекстін қатаң шектеу және пайдаланылмайтын құралдарды өшіру тәжірибесін енгізді. Мақсат — токендерді аз жұмсау емес, оларды ақылмен жұмсау, қажетсіз ақпаратқа артық шығынға жол бермеу.

Дойчердің «штанга» стратегиясы

Аналитик Майлз Дойчер ұқсас тәсілді сипаттайды, оны «токен инженериясы» және «штанга» стратегиясы деп атайды. Оның әдісі ең күрделі тапсырмалардың 10% (жоспарлау және соңғы тексеру) Opus немесе GPT сияқты ең ақылды модельдерге тапсыруды ұсынады. Негізгі 80% күнделікті жұмыс арзан open-source модельдермен орындалады. Оның айтуынша, бұл тәсіл ЖИ шығындарын 50% және одан да көп қысқартуға мүмкіндік береді және ол оны бірнеше ай бойы қолданып келеді. Бұл тиімділік сараңдық емес, ақылды архитектура екенінің ең жақсы дәлелі.

Сарапшының пікірі: Coinbase тарихы — бұл жай ғана оңтайландыру жағдайы емес, корпоративтік ЖИ-дің жаңа дәуірінің манифесі. Нарық «ең ақылды» модельге жарыстан «ең тиімді архитектураға» жарысқа көшуде. Интеллектуалды маршрутизацияны және агрессивті кэштеуді бірінші болып енгізетін компаниялар орасан зор бәсекелестік артықшылыққа ие болады, ал бәсекелестер бюджеттерін мағынасыз есептеу қуаттарына жағуға мәжбүр болады.