Coinbase жасанды интеллектке жұмсайтын шығындарын екі есеге қысқартты: токен тұтынудың өсу парадоксы
Coinbase бас директоры Брайан Армстронг компанияның күтпеген стратегиясымен бөлісті: есептеуіш токендерді тұтыну экспоненциалды түрде өскен кезде, жасанды интеллектке жұмсалатын шығындарды екі есеге азайту мүмкін болды. Оның айтуынша, құпия қарапайым шектеулерде немесе лимиттерде емес, инфрақұрылымды дәл баптауда жатыр.
Лимиттер емес, ақылды маршрутизация
Армстронг Coinbase инженерлері кез келген ЖИ моделін таңдай алатынын, бірақ негізгі рөлді әдепкі параметрлер атқаратынын түсіндірді. Компания ішкі шлюз арқылы GLM 5.2 және Kimi 2.7 сияқты ашық модельдерді пайдаланумен тәжірибе жүргізуде. Айта кетерлігі, қызметкерлердің 91%-ы ешқашан лимиттерге тап болмаған, сондықтан компания шекті мәндерді төмендетпей, арзанырақ конфигурацияларға көшті.
Үнемдеудің негізінде — сұраныстарды интеллектуалды маршрутизациялау жатыр. Жүйе кэштеу мен құнды ескере отырып, тапсырманы автоматты түрде ең қолайлы модельге бағыттайды. Мысалы, стратегиялық жоспарлау үшін флагмандық модель, ал күнделікті орындау үшін жеңілірек және арзанырақ модель қолданылады. Армстронг модельді таңдауды адам емес, ЖИ-дің өзі автоматтандыруы керек екенін атап өтті.
Кэш және контекст: үнемдеудің екі тірегі
Кэштеудің рөлі ерекше атап өтілді. Сақталған деректерді жіберіп алу — шығындарды көтерудің ең оңай жолы. Coinbase-те барлық сұраныстар бұрын өңделген ақпаратты қайта пайдалануға бапталған. LibreChat қызметінде кэшке түсу үлесі дұрыс баптаудан кейін 5%-дан 60%-ға дейін өсті.
Контексті үнемдеу де маңызды емес. Армстронг тапсырмаларды ауыстырған кезде жаңа сессияларды бастауға, файлдардың контекстін тар шектеуге және пайдаланылмайтын құралдарды өшіруге кеңес береді. Мақсат — токендерді аз жұмсау емес, оларды босқа жұмсамау. Дәл осы тәсіл Coinbase-ке тұтынудың үздіксіз өсуі кезінде шығындарды екі есеге дерлік азайтуға мүмкіндік берді.
Дойчердің «штанга» стратегиясы
Аналитик Майлз Дойчер ұқсас әдістемені сипаттап, оны «токен инженериясы» деп атады. Ол ЖИ шығындарын 50% және одан да көп азайту үшін «штанга» стратегиясын ұсынады. Жұмыстың алғашқы 10% және жобаны жоспарлау ең ақылды модельдерге (Opus, GPT) сеніп тапсырылуы керек, өйткені бұл өте маңызды кезең. Негізгі 80% күнделікті жұмысты ашық кодты арзанырақ модельмен орындау керек. Соңғы 10% және нәтижені тексеруді ол қайтадан жоғары деңгейдегі модельдерге тапсыруды ұсынады. Дойчер бұл схеманы бірнеше ай бойы қолданып келеді және оны ЖИ-ге шамадан тыс шығындарды азайтудың ең жақсы тәсілі деп санайды.
Сарапшының пікірі: Coinbase тәжірибесі — ЖИ инфрақұрылымының тиімділігі салым көлемімен емес, оларды пайдалану архитектурасымен анықталатынының жарқын мысалы. Әрбір тиын есептелетін криптоиндустрия үшін ақылды маршрутизация және кэштеу жай ғана опция емес, қажеттілікке айналады. Бұл ЖИ-ді шектен тыс шығынсыз масштабтауға ұмтылатын барлық жобалар үшін сабақ.