Coinbase бас директоры Брайан Армстронг қауымдастықпен жасанды интеллект шығындарын оңтайландырудың әсерлі нәтижелерімен бөлісті. Компания ЖИ шығындарын екі есеге дерлік қысқарта алды, бұл ретте токендерді тұтыну экспоненциалды түрде өсіп жатты. Армстронгтың айтуынша, құпия қатаң шектеулер мен тыйымдарда емес, инфрақұрылымды интеллектуалды баптауда жатыр.
Стратегияның негізгі элементі көпдеңгейлі сұраныстарды маршруттау болды. Coinbase-те инженерлердің сұраныстары автоматты түрде ең қолайлы модельге бағытталатын жүйе енгізілді. Күрделі жоспарлау және архитектура міндеттері үшін озық модель, ал күнделікті кодтау үшін жеңіл әрі арзан модель қолданылады. Армстронг модельді таңдауды адам емес, ЖИ-дің өзі автоматтандыруы керек екенін атап өтті. Ішкі шлюз арқылы GLM 5.2 және Kimi 2.7 сияқты ашық салмақты модельдермен жүргізілген эксперименттер де айтарлықтай үнемдеуге әкелді.
Кэштеу және контекст: артық 50% шығындар қайда жасырылған
Армстронг екі маңызды аспектіні бөліп көрсетті: кэштеу және контекстті басқару. Кэшті жіберіп алу – шығындарды көтерудің ең жылдам жолы. Coinbase-те жүйені өңделген ақпаратты қайта пайдалану үшін қайта баптады. LibreChat қызметінде дұрыс баптаудан кейін кэшке түсу үлесі 5%-дан 60%-ға дейін өсті. Бұл сұраныстардың 60% қайта есептеуді қажет етпейді, бұл шығындарды тікелей азайтады.
«Контексті үнемдеу» де маңызды емес. Армстронг тапсырмаларды ауыстырған кезде жаңа сессияларды бастауды, контексті файлдармен қатаң шектеуді және пайдаланылмайтын құралдарды өшіруді ұсынады. Мақсат – токендерді аз жұмсау емес, оларды артық контекстке босқа жұмсамау. Нәтижесінде, тұтынудың өсуіне қарамастан, Coinbase шығындарды тегістеу платосына шығып, содан кейін оларды екі есеге дерлік қысқарта алды.
Майлз Дойчердің «штанга» стратегиясы
Аналитик Майлз Дойчер ұқсас стратегияны тәуелсіз сипаттап, оны «токендер инженериясы дәуірі» деп атады. Оның тәсілі – «штанга» стратегиясы: ең күрделі және маңызды тапсырмалардың 10% (жоспарлау, архитектура) ең ақылды және қымбат модельдерге (Opus, GPT) сеніп тапсыру, күнделікті жұмыстың 80% арзан open-source модельдермен орындау, ал қалған 10% (соңғы тексеру және жетілдіру) қайтадан үздік модельдерге тапсыру. Дойчер бұл схеманы бірнеше ай бойы қолданып келе жатқанын және оны ЖИ-ге кететін шамадан тыс шығындарды 50% және одан да көп қысқартудың ең жақсы тәсілі деп санайды.
Cryptalist аналитикалық пікірі: Coinbase тәжірибесі – бұл жай ғана үнемдеу жағдайы емес, ЖИ нарығының жетілуінің көрінісі. Біз «неғұрлым көп, соғұрлым жақсы» дәуірінен «ақылды оңтайландыру» дәуіріне көшіп жатырмыз. Әр доллар есептелетін криптокомпаниялар үшін бұл принциптер сән-салтанат емес, жоғары бәсекелестік жағдайында өмір сүрудің қажеттілігі. «Штанга» стратегиясы және интеллектуалды маршруттау 2024-2025 жылдары ЖИ-ді тиімді пайдаланудың де-факто стандартына айналады.