Coinbase бас директоры Брайан Армстронг жасанды интеллект шығындарын оңтайландырудың әсерлі нәтижелерін жариялады: компания токендерді тұтынудың экспоненциалды өсуіне қарамастан, ЖИ шығындарын екі есеге жуық қысқартты. Бұл сауатты инженерлік мәдениет пен стратегиялық көзқарас шығындардың бақылаусыз өсу үрдісін қалай кері қайтара алатынының айқын мысалы.
Армстронгтың негізгі қорытындысы: үнемдеу қатаң лимиттер мен шығындарды бюрократиялық бақылау арқылы емес, анағұрлым ақылды әдепкі параметрлер, сұраныстарды интеллектуалды маршруттау және тиімді кэштеу арқылы қол жеткізіледі. Coinbase-те инженерлер кез келген модельді таңдауға ерікті, бірақ дәл әдепкі конфигурациялар шешуші рөл атқарады. Оның үстіне, қызметкерлердің 91%-ы ешқашан лимиттерге тап болмаған, сондықтан компания шектерді төмендетпей, арзанырақ параметрлерге көшті.
Маршруттау, кэш және контексті үнемдеу
Coinbase ішкі жүйесі сұраныстарды алдын ала өңдеп, оларды кэшке түсу мен құнын бағалай отырып, ең қолайлы модельге бағыттайды. Мысалы, стратегиялық жоспарлау үшін озық модель қажет, бірақ күнделікті орындау үшін артық. Армстронгтың пікірінше, модельді таңдауды адам емес, ЖИ-дің өзі автоматтандыруы керек.
Кэштеуге ерекше көңіл бөлінеді. Сақталған деректерді жіберіп алу — шығындарды көтерудің ең оңай жолы, сондықтан барлық сұраныстар бұрын өңделген ақпаратты қайта пайдалануға бағытталған. LibreChat қызметінде дұрыс конфигурациядан кейін мұндай түсулердің үлесі 5%-дан 60%-ға дейін өсті. Сондай-ақ контексті үнемдеу маңызды: Армстронг тапсырмалар ауысқанда жаңа сессияларды бастауға, файлдар контекстін тар шектеуге және пайдаланылмайтын құралдарды өшіруге кеңес береді. Мақсат — токендерді аз жұмсау емес, оларды босқа аз жіберу.
Дойчердің «штанга» стратегиясы
Аналитик Майлз Дойчер ұқсас тәсілді сипаттайды, оны «токен инженериясы» және «штанга» стратегиясы деп атайды. Жұмыстың алғашқы 10%-ын (жобаны жоспарлау) ол ең ақылды модельдерге (Opus, GPT) сеніп тапсырады. Негізгі 80% күнделікті жұмыс ашық кодты арзанырақ модельдермен орындалады. Соңғы 10% және нәтижелерді тексеру қайтадан жоғары деңгейдегі модельдерге жүктеледі. Дойчер бұл схеманы бірнеше ай бойы қолданып келеді және оны ЖИ-ге шамадан тыс шығындарды азайтудың ең жақсы тәсілі деп санайды.
Менің сараптамалық талдауым: Coinbase тәжірибесі — бұл жай ғана үнемдеу жағдайы емес, парадигманың өзгеруі. Нарық ең қуатты модель үшін жарыстан интеллектуалды оркестрлеу дәуіріне көшуде. Әртүрлі модельдерді тиімді біріктіруді үйренетін және «токен тиімділігі» мәдениетін енгізетін компаниялар орасан зор бәсекелестік артықшылыққа ие болады. Ал LLM-ді «барлық шегеге балға» ретінде пайдалануды жалғастыратындар шығындардың бақылаусыз өсуіне және икемділікті жоғалтуға тап болады.