Coinbase жасанды интеллект шығындарын екі есеге қысқартты, токендерді тұтынудың жарылыс өсуі кезінде: назар аударатын стратегия
Coinbase бас директоры Брайан Армстронг жасанды интеллект шығындарын оңтайландырудың әсерлі нәтижелерімен бөлісті. Токен тұтынудың экспоненциалды өсуіне қарамастан, компания шығындарды екі есеге жуық қысқарта алды. Ал табыс кілті қатаң шектеулер мен тыйымдарда емес, инфрақұрылымды дәл баптауда.
Армстронг атап өткендей: Coinbase инженерлері кез келген модельді таңдауға ерікті, бірақ шешуші рөлді әдепкі параметрлер атқарады. Компания белсенді түрде эксперимент жасап, әдепкі модельдер ретінде GLM 5.2 және Kimi 2.7 сияқты ашық бастапқы коды бар модельдерді орнатады, оларға ішкі шлюз арқылы қол жеткізіледі. Қызығы, қызметкерлердің 91%-ы ешқашан шектеулерге тап болған жоқ, бұл квоталарды төмендетпей, арзанырақ конфигурацияларға көшуге мүмкіндік берді.
Маршрутизация, кэш және контекстті үнемдеу
Стратегияның негізінде сұраныстарды интеллектуалды маршрутизациялау жатыр. Coinbase ішкі жүйелері әрбір сұранысты алдын ала өңдеп, кэшке түсулер мен құнды ескере отырып, ең қолайлы модельге бағыттайды. Мысалы, стратегиялық жоспарлау үшін озық модель қолданылады, бірақ күнделікті тапсырмалар үшін ол артық. Армстронг модельді таңдауды адам емес, ЖИ-дің өзі автоматтандыруы керек деп талап етеді.
Кэштеудің рөлі ерекше назар аударуға тұрарлық. Сақталған деректерді жіберіп алу – бұл негізсіз шығындарға тікелей жол. Coinbase-те барлық сұраныстар бұрын өңделген ақпаратты қайта пайдалануға бапталған. LibreChat қызметінде кэшке түсу үлесі дұрыс баптаудан кейін 5%-дан 60%-ға дейін өсті. Контекстті үнемдеу де өз жемісін берді: тапсырмаларды ауыстырғанда жаңа сессиялар, файлдар контекстін тар шектеу және пайдаланылмайтын құралдарды өшіру. Армстронг қорытындылағандай, мақсат – жалпы токендерді аз жұмсау емес, оларды босқа жұмсамау.
Дойчердің «штанга» стратегиясы
Аналитик Майлз Дойчер осыған ұқсас тәсілді сипаттап, оны «токен инженериясы» деп атайды және ЖИ шығындарын 50% және одан да көп қысқарту үшін «штанга» стратегиясын ұсынады. Мәні қарапайым: жұмыстың алғашқы 10% және жобаны жоспарлау ең қуатты модельдерге (Opus, GPT) сеніп тапсырылады. Негізгі 80% күнделікті жұмыс арзанырақ ашық бастапқы коды бар модельдермен орындалады. Соңғы 10% және нәтижені тексеру қайтадан үздік модельдерге жүктеледі. Дойчер бұл схеманы бірнеше ай бойы қолданып келеді және оны ЖИ-ге шамадан тыс шығындарды тежеудің ең жақсы тәсілі деп санайды.
Сарапшы пікірі: Coinbase тәжірибесі – бұл жай ғана оңтайландыру жағдайы емес, ЖИ-ді тиімді енгізу ең қымбат құралды қуу емес, дұрыс архитектура өнері екендігінің айқын көрінісі. Әр доллар есепте тұратын криптокомпаниялар үшін мұндай тәсіл өсіп келе жатқан бәсекелестік жағдайында өмір сүру үшін сән-салтанат емес, қажеттілікке айналады.