Rostoucí náklady na přístup k výkonným AI modelům nutí řadu firem hledat alternativy k předplatným od Anthropicu a OpenAI. Agentic AI – schopná autonomně plnit dlouhé, víceúrovňové úkoly – totiž spotřebovává řádově více výpočetních tokenů než běžné chatovací použití, přičemž předplatné plány tyto objemy vůbec nepokrývají.
Tokenmaxxing jako problém
Výzkum společnosti SemiAnalysis ukázal, že měsíční předplatné plány jsou sice cenově dostupnější než přímý API přístup, avšak firmy, které chtějí plně využívat schopnosti těchto modelů, se přímému API nevyhnou. Náklady pak začínají eskalovat. Velké společnosti jako Microsoft, Meta nebo Amazon přitom od strategie maximalizace využití tokenů – tzv. tokenmaxxingu – začínají ustupovat, protože výdaje spirálují mimo kontrolu. Jedna nejmenovaná firma dokonce proinvestovala 500 milionů dolarů za jediný měsíc poté, co zapomněla nastavit limity využití pro zaměstnanecké licence.
V reakci na tuto situaci se stále více podniků obrací na čínské velké jazykové modely nebo na open source alternativy, které nabízejí srovnatelný výkon za zlomek ceny. Trend je patrný zejména v segmentu firemního nasazení AI agentů, kde jsou náklady na jeden dokončený úkol klíčovým ekonomickým parametrem.
Zdroj: tomshardware.com
