Coinbase бас директоры Брайан Армстронг күтпеген жағдаймен бөлісті: компания токендерді тұтынудың экспоненциалды өсуіне қарамастан, жасанды интеллектке жұмсалатын шығындарды екі есеге жуық қысқартты. Негізгі қорытынды — тиімділікке қатаң шектеулер арқылы емес, әдепкі параметрлерді оңтайландыру, сұраныстарды ақылды маршруттау және агрессивті кэштеу арқылы қол жеткізіледі.

Армстронг Coinbase инженерлері кез келген модельді таңдай алатынын, бірақ шешуші мәнге ие болатыны дәл әдепкі параметрлер екенін атап өтті. Компания ішкі шлюз арқылы қолжетімді GLM 5.2 және Kimi 2.7 сияқты ашық салмақтары бар модельдерді базалық ретінде пайдалануды сынап жатыр. Айта кетерлігі, қызметкерлердің 91%-ы ешқашан лимиттерге тап болмаған, сондықтан компания квоталарды төмендетпей, арзанырақ параметрлерге көшкен.

Маршруттау, кэш және контексті үнемдеу

Coinbase ішкі архитектурасы сұраныстарды алдын ала өңдеуге негізделген. Жүйе кэшке түсу пайызы мен құнын ескере отырып, тапсырманы автоматты түрде ең қолайлы модельге бағыттайды. Мысалы, жоспарлау үшін озық модель қолданылады, бірақ күнделікті тапсырмаларды орындау үшін ол артық. Армстронг модельді таңдауды адам емес, ИИ-дің өзі автоматтандыруы керек деп санайды.

Кэштеудің рөлі ерекше атап өтілді. Сақталған деректерден тыс қалу — шығындарды көтерудің ең оңай жолы. LibreChat қызметінде дұрыс баптаудан кейін кэшке түсу үлесі 5%-дан 60%-ға дейін өсті. Сондай-ақ контексті үнемдеу маңызды: Армстронг тапсырмаларды ауыстырған кезде жаңа сессияларды бастауды, файлдар контекстін тар шектеуді және пайдаланылмайтын құралдарды өшіруді ұсынады. Мақсат — токендерді аз жұмсау емес, оларды босқа аз жұмсау.

Дойчердің «штанга» стратегиясы

Аналитик Майлз Дойчер ұқсас тәсілді сипаттайды, оны «токен инженериясы» деп атайды. Оның «штанга» стратегиясы ИИ шығындарын 50% және одан да көп қысқартуға мүмкіндік береді. Ол жұмыстың алғашқы 10%-ын және жобаны жоспарлауды ең ақылды модельдерге (Opus, GPT) сеніп тапсырады, өйткені бұл сыни маңызды кезең. Негізгі 80% күнделікті жұмыс арзанырақ open-source модельмен орындалады. Соңғы 10% және нәтижені тексеру қайтадан жоғары деңгейдегі модельдерге жүктеледі. Дойчер бұл схеманы бірнеше ай бойы қолданып келеді және оны ИИ-ге шамадан тыс шығындарды азайтудың ең жақсы тәсілі деп санайды.

Сарапшы пікірі: Coinbase жағдайы — ИИ-ді инфрақұрылымға енгізудің прагматикалық тәсілінің тамаша үлгісі. Нарық көбінесе ең қымбат модельдердің соңынан ереді, тапсырмалардың 80% мұндай есептеу қуатын қажет етпейтінін ұмытып. Маршруттауды автоматтандыру және агрессивті кэштеу — бюджетті еселеп өсірмей-ақ ИИ-ді пайдалануды масштабтауға мүмкіндік беретін дәл сол «төмен ілінген жемістер». Әрбір тиын есептелетін криптокомпаниялар үшін бұл жай ғана үнемдеу емес, бәсекелестік күресте аман қалу мәселесі.