Coinbase бас директоры Брайан Армстронг жасанды интеллект шығындарын оңтайландырудың әсерлі нәтижелерімен бөлісті. Кең таралған пікірге қарамастан, компания ЖИ шығындарын екі есеге жуық қысқарта алды, ал токен тұтынуы өсе берді. Табыс кілті – қатаң шектеулер мен толық бақылауда емес, ақылды әдепкі параметрлерде, сұраныстарды маршруттауда және тиімді кэштеуде.

Армстронг Coinbase инженерлері кез келген модельді таңдай алатынын, бірақ әдепкі параметрлер шешуші рөл атқаратынын атап өтті. Компания ішкі шлюз арқылы GLM 5.2 және Kimi 2.7 сияқты ашық салмақтары бар арзанырақ модельдерді пайдалануды сынап жатыр. Ерекше назар аударарлығы, қызметкерлердің 91%-ы ешқашан шектеулерге тап болмаған, сондықтан компания шектеулерді азайтудың орнына арзанырақ параметрлерге көшті. Бұл өнімділікті сақтай отырып, шығындарды азайтуға мүмкіндік берді.

Маршруттау, кэш және контексті үнемдеу

Армстронгтың айтуынша, Coinbase-тің меншікті жүйелерінде сұраныстар алдын ала өңделіп, кэшке түсу және құны ескеріле отырып, ең қолайлы модельге бағытталады. Мысалы, жоспарлау үшін озық модель қажет, бірақ орындау үшін артық. Модельді таңдауды адам емес, ЖИ-дің өзі автоматтандыруы керек.

Кэштеуге ерекше көңіл бөлінеді. Сақталған деректерді жіберіп алу – шығындарды көтерудің ең оңай жолы, сондықтан барлық сұраныстар бұрын өңделген ақпаратты қайта пайдалануға бағытталған. LibreChat қызметінде дұрыс параметрлерден кейін мұндай түсулердің үлесі 5%-дан 60%-ға дейін өсті.

Контексті үнемдеу де маңызды фактор ретінде аталды. Армстронг тапсырма ауысқанда жаңа сессияларды бастауға, файл контекстін тар шектеуге және пайдаланылмайтын құралдарды өшіруге кеңес береді. Мақсат – аз токен жұмсау емес, оларды босқа жұмсамау. Бұл тәсіл Coinbase-ке тұтыну өсуі жалғасқан кезде шығындарды екі есеге жуық қысқартуға мүмкіндік берді.

Дойчердің «штанга» стратегиясы

Ұқсас тәсілді аналитик Майлз Дойчер сипаттап, болып жатқанды «токен инженериясы» дәуірі деп атады. Ол ЖИ шығындарын 50% және одан да көп қысқарту үшін «штанга» стратегиясын ұсынды. Жұмыстың алғашқы 10% және жобаны жоспарлауды ең ақылды модельдерге (Opus, GPT) сеніп тапсыруға кеңес береді, себебі бұл ең маңызды кезең. Негізгі 80% күнделікті жұмысты ашық бастапқы коды бар арзанырақ модельмен орындау керек. Соңғы 10% және нәтижені тексеруді қайтадан жоғары деңгейлі модельдерге тапсыру қажет. Дойчер бұл схеманы бірнеше ай бойы қолданып келеді және оны ЖИ-ге шамадан тыс шығындарды азайтудың ең жақсы тәсілі деп санайды.

Сарапшы пікірі: Coinbase стратегиясы – сауатты архитектура мен инженерлік мәдениет ЖИ инфрақұрылымының тиімділігін түбегейлі арттыра алатынының жарқын мысалы. Әрбір токеннің есепте тұрған дәуірінде сұраныстарды дұрыс маршруттау және кэштеуді пайдалану бәсекелестік артықшылыққа айналады. ЖИ енгізетін барлық компанияларға осы тәжірибелерге назар аударуды ұсынамын – олар бюджетті үнемдеп қана қоймай, жүйелердің жұмыс жылдамдығын да арттырады.