Coinbase жасанды интеллект шығындарын екі есеге қысқартты: инженерлік оңтайландыру токендерді тұтынудың өсуін жеңуде
Coinbase бас директоры Брайан Армстронг маңызды жағдаймен бөлісті: компания жасанды интеллект шығындарын екі есеге жуық қысқарта алды, токендерді тұтыну экспоненциалды түрде өскеніне қарамастан. Негізгі қорытынды – тиімділікке қатаң шектеулер мен шығындар туралы хабарламалар арқылы емес, әдепкі конфигурацияларды дұрыс орнату, сұраныстарды бағыттау және кэштеу арқылы қол жеткізіледі.
Армстронг инженерлер кез келген модельді таңдай алатынын, бірақ шешуші мәнге ие болатыны – дәл әдепкі параметрлер екенін атап өтті. Coinbase ішкі шлюз арқылы GLM 5.2 және Kimi 2.7 сияқты ашық салмақтары бар арзанырақ модельдерді пайдаланумен тәжірибе жүргізуде. Бір қызығы, қызметкерлердің 91%-ы ешқашан шектеулерге тап болмаған, сондықтан компания шектеулерді төмендетудің орнына арзанырақ конфигурацияларға көшті.
Бағыттау, кэш және контекстті үнемдеу
Coinbase ішкі жүйесі сұраныстарды алдын ала өңдеп, оларды кэшке түсу және құнын ескере отырып, ең қолайлы модельге бағыттайды. Мысалы, жоспарлау үшін озық модель қажет, бірақ орындау үшін артық. Сайып келгенде, модельді таңдауды адам емес, ЖИ-дің өзі автоматтандыруы керек.
Армстронг кэштеудің рөлін ерекше атап өтті. Сақталған деректерден тыс қалу – шығындарды көтерудің ең оңай жолы, сондықтан Coinbase-тегі барлық сұраныстар бұрын өңделген ақпаратты қайта пайдалануға бапталған. LibreChat қызметінде дұрыс баптаудан кейін мұндай түсулердің үлесі 5%-дан 60%-ға дейін өсті.
Сондай-ақ контекстті үнемдеу маңызды. Армстронг тапсырмаларды ауыстырған кезде жаңа сессияларды бастауға, файлдардың контекстін тар шектеуге және пайдаланылмайтын құралдарды өшіруге кеңес береді. Мақсат – аз токен жұмсау емес, оларды босқа ысырап етпеу. Дәл осы тәсіл Coinbase-ке тұтынудың үздіксіз өсуі кезінде шығындарды екі есеге жуық қысқартуға мүмкіндік берді.
Дойчердің «штанга» стратегиясы
Аналитик Майлз Дойчер ұқсас тәсілді сипаттап, оны «токен инженериясы» деп атады. Ол ЖИ шығындарын 50% және одан да көп қысқарту үшін «штанга» стратегиясын ұсынды. Жұмыстың алғашқы 10%-ы мен жобаны жоспарлауды Opus немесе GPT сияқты ең ақылды модельдерге сеніп тапсыру керек. Күнделікті жұмыстың негізгі 80%-ын ашық бастапқы коды бар арзанырақ модельмен орындау қажет. Соңғы 10%-ы мен нәтижені тексеруді ол қайтадан жоғары деңгейдегі модельдерге тапсыруды ұсынады. Дойчер бұл схеманы бірнеше ай бойы қолданып келеді және оны ЖИ-ге шамадан тыс шығындарды азайтудың ең жақсы тәсілі деп санайды.
Сарапшының пікірі: Coinbase жағдайы ЖИ инфрақұрылымын басқарудың жетілген тәсілін көрсетеді. Компания дүрбелеңмен қолжетімділікті қысқартудың орнына интеллектуалды бағыттау мен кэштеуді енгізді, бұл сауатты инженерлік шешім болып табылады. Әрбір тиын есептелетін криптоиндустрия үшін мұндай прагматизм – жай ғана үнемдеу емес, өсіп келе жатқан бәсекелестік жағдайында тұрақты масштабтаудың кепілі.