Coinbase жасанды интеллект шығындарын екі есеге қысқартты, тұтынудың жарылыс тәрізді өсуі кезінде: құпия токендерді инжинирингтеуде
Coinbase бас директоры Брайан Армстронг күтпеген стратегиямен бөлісті: компания токендерді тұтынудың экспоненциалды өсуіне қарамастан, жасанды интеллект шығындарын екі есеге жуық қысқарта алды. Құпия қатаң шектеулерде немесе тыйымдарда емес, дұрыс маршрутизацияда, кэштеуде және әдепкі параметрлерде жатыр.
Армстронгтың түсіндіруінше, Coinbase инженерлері кез келген модельді таңдай алады, бірақ дәл әдепкі параметрлер шешуші мәнге ие. Компания ішкі шлюз арқылы GLM 5.2 және Kimi 2.7 сияқты ашық салмақтары бар модельдерді әдепкі ретінде пайдалануды сынап жатыр. Айта кетерлігі, қызметкерлердің 91%-ы ешқашан шектеулерге тап болмаған, сондықтан Coinbase шектеулерді төмендетудің орнына арзанырақ параметрлерге көшті.
Маршрутизация, кэш және контекстті үнемдеу
Coinbase-тің меншікті жүйелерінде сұраныстар алдын ала өңделіп, кэшке түсу және құнын ескере отырып, ең қолайлы модельге бағытталады. Мысалы, озық модель жоспарлау үшін қажет, бірақ орындау үшін артық. Модельді таңдауды адам емес, ЖИ-дің өзі автоматтандыруы керек.
Армстронг кэштеуге ерекше назар аударды. Сақталған деректерден тыс қалу — шығындарды көтерудің ең оңай жолы, сондықтан Coinbase-тегі барлық сұраныстар бұрын өңделген ақпаратты қайта пайдалануға бағытталған. LibreChat қызметінде дұрыс конфигурациядан кейін мұндай түсулердің үлесі 5%-дан 60%-ға дейін өсті.
Контекстті үнемдеу де маңызды фактор болды. Армстронг тапсырмаларды ауыстырған кезде жаңа сессияларды бастауға, файлдардың контекстін тар шектеуге және пайдаланылмайтын құралдарды өшіруге кеңес береді. Мақсат — токендерді аз жұмсау емес, оларды босқа аз жұмсау.
Дойчердің «штанга» стратегиясы
Аналитик Майлз Дойчер ұқсас тәсілді сипаттап, оны «токендер инженериясы» деп атады және ЖИ шығындарын 50% және одан да көп қысқарту үшін «штанга» стратегиясын ұсынды. Жұмыстың алғашқы 10% және жобаны жоспарлауды Opus немесе GPT сияқты ең ақылды модельдерге сеніп тапсыруға кеңес береді. Негізгі 80% күнделікті жұмысты ашық бастапқы коды бар арзанырақ модельмен орындау керек. Соңғы 10% және нәтижені тексеруді қайтадан жоғары деңгейлі модельдерге тапсыру керек. Дойчер бұл схеманы бірнеше ай бойы қолданып келеді және оны ЖИ-ге шамадан тыс шығындарды азайтудың ең жақсы тәсілі деп санайды.
Сарапшының пікірі: Coinbase стратегиясы — бұл жай ғана үнемдеу емес, корпоративтік ЖИ-дің жаңа стандарты. Тапсырмаларды «ауыр» және «жеңіл» модельдер арасында бөлу, интеллектуалды кэштеумен үйлестіре отырып, бюджеттің пропорционалды өсуінсіз ЖИ-ді пайдалануды кеңейтуге мүмкіндік береді. Бұл бүкіл сала үшін сабақ: тиімділік өрескел күштен маңыздырақ.