Ekonomija AI inferencije 2026: Trošak tokena, računanje i učinkovitost

Nekoliko godina glavni broj u AI-ju bio je trošak treniranja frontier modela — stotine milijuna dolara, potrošenih jednom. U 2026. broj koji odlučuje hoće li AI proizvod zaraditi posve je drugi: trošak inferencije, cijena stvarnog pokretanja modela svaki put kad ga korisnik nešto pita. Cijena tokena pala je otprilike desetak puta, a ipak su AI računi porasli, a ne pali — jer je upotreba rasla brže nego što je cijena padala. Inferencija je danas dominantan, ponavljajući trošak AI-ja u produkciji, a razumijevanje njezine ekonomije razlika je između proizvoda sa zdravom maržom i onog koji tiho krvari novac na svaki poziv.

Treniranje je kapitalni trošak. Inferencija je vaša najamnina.

Mentalni model koji zavarava timove jest tretiranje AI troška kao softvera: izgradi jednom, posluži besplatno. Veliki modeli to izokreću. Treniranje je kapitalni trošak koji davatelj plati prije nego što uopće dodirnete model. Inferencija je granični trošak koji plaćate na svaki pojedini zahtjev — i za razliku od upita nad bazom, raste s duljinom razgovora, veličinom konteksta koji priložite i brojem tokena koje model generira natrag. Značajka koja je divna u demou, a rušilačka na milijun korisnika dnevno gotovo je uvijek problem ekonomije inferencije, a ne proizvoda.

Dobra vijest 2026. jest da je cijena po jedinici inteligencije urušena. Trošak posluživanja zadane razine sposobnosti dramatično je pao zahvaljujući jeftinijim modelima učinkovite razine, destilaciji, kvantizaciji i boljoj infrastrukturi posluživanja. Kvaka je Jevonsov paradoks: kad nešto pojeftini, ljudi ga koriste daleko više. Jeftiniji tokeni učinili su agente, radne tokove s dugim kontekstom i asistente koji su uvijek uključeni održivima — a svaki od njih troši tokene na tisuće. Račun se nije smanjio; premjestio se.

Anatomija računa za tokene

Svaki davatelj — Anthropic, OpenAI, Mistral i ostali — naplaćuje po ista tri parametra, a poznavanje njih pola je bitke.

• Ulazni tokeni — sve što šaljete: sistemski prompt, povijest razgovora, dohvaćeni dokumenti, definicije alata. Kod radnih tokova s dugim kontekstom i agenata to je obično veća polovica računa.
• Izlazni tokeni — sve što model generira. Izlaz se obično naplaćuje nekoliko puta više od ulaza jer je generiranje računski zahtjevnije od čitanja. Opširan model je skup model.
• Množitelj: koliko često zovete. Agent koji deset puta prolazi kroz isti rastući kontekst plaća taj kontekst deset puta. Ovdje se troškovi skrivaju.

Najčešća pogreška je optimiziranje cijene po tokenu uz zanemarivanje broja tokena. Model koji je 20% jeftiniji po tokenu, ali proizvodi dvostruko više izlaza, iznova čita cijelu povijest svaki krug i treba tri pokušaja nije jeftiniji — daleko je skuplji. Jedinica koja je bitna jest trošak po riješenom zadatku, a ne trošak po tokenu.

Pet poluga koje stvarno smanjuju račun

1. Predmemoriranje prompta — platite jednom za stabilni dio

Većina zahtjeva dijeli velik, nepromjenjiv prefiks: dugačak sistemski prompt, dokument politike, datoteku koda, primjere. Predmemoriranje prompta omogućuje davatelju da ponovno iskoristi izračun za taj prefiks kroz pozive, s popustom do ~90% na predmemorirane ulazne tokene. Za bilo koji radni tok s teškim, ponavljanim kontekstom — botovi za podršku, asistenti za kodiranje, Q&A nad dokumentima — to je promjena s najvećom polugom, a obično traži samo preslagivanje prompta tako da stabilni dio dođe prvi.

2. Batch obrada — zamijenite latenciju za popust

Ne treba svaki posao odgovor u dvije sekunde. Noćna klasifikacija dokumenata, masovno obogaćivanje, evaluacijska pokretanja i generiranje izvještaja mogu ići kroz batch API po otprilike pola cijene. Ako je radni tok asinkron, plaćanje pune interaktivne cijene za njega jednostavno znači ostaviti novac na stolu.

3. Usmjeravanje modela — prava veličina za svaki poziv

Dvorazinski obrazac koji obrađujemo u našem vodiču o malim jezičnim modelima ujedno je i najveća poluga troška inferencije. Rutinskih 70–80% prometa pošaljite jeftinom modelu učinkovite razine poput Claude Haikua ili Mistralova malog modela, a samo istinski teške pozive eskalirajte na frontier model. Kad je dobro izvedeno, mješoviti trošak pada za više od pola bez vidljivog gubitka kvalitete — pogledajte naš vodič za odabir modela kako povući granicu.

4. Disciplina izlaza — najjeftiniji token je onaj koji ne generirate

Budući da je izlaz skupa polovica, ograničavanje duljine odgovora, traženje strukturiranog JSON-a umjesto proze i sprječavanje modela da "razmišlja naglas" kad ne treba — sve to izravno smanjuje trošak. Stezanje izlaza opširnog agenta često je ušteda od 30–40% koju nitko ne primijeti na kvaliteti.

5. Higijena konteksta — prestanite plaćati čitanje smeća

Svaki nebitan dokument koji ugurate u kontekst porez je na ulazne tokene u svakom krugu. Dobar inženjering konteksta i uska dohvat — slanje pet relevantnih odlomaka, a ne cijelog priručnika — smanjuju ulazni trošak i obično istovremeno poboljšavaju odgovor.

Razrađeni primjer

Uzmite asistenta za podršku koji obrađuje milijun interakcija mjesečno, svaka s dugim kontekstom politike i dva kruga modela. Naivno naplaćeno — svaki poziv na frontier modelu, pun kontekst iznova poslan svaki krug, bez predmemoriranja — račun je neugodan. Sada primijenite slog: predmemorirajte prefiks politike, rutinskih 75% usmjerite na model učinkovite razine, izvanredni volumen batchirajte i ograničite duljinu izlaza. Ništa od toga ne dira kvalitetu prema korisniku ondje gdje je bitna, a zajedno spuštaju mješoviti trošak za otprilike tri četvrtine.

Gdje timovi i dalje griješe

• Lov na najnižu cijenu na naljepnici. Niža cijena po tokenu na modelu koji treba pokušaje i proizvodi napuhan izlaz gubi na trošku po riješenom zadatku. Mjerite zadatak, ne token.
• Bez vidljivosti troška. Ne možete smanjiti ono što ne vidite. Pratite tokene i trošak po značajki, po korisniku, po pozivu — ista disciplina kao svaka druga produkcijska observability. Većina odbjeglih računa je jedna neograničena petlja ili jedan prenatrpani prompt.
• Optimizacija prije mjerenja. Optimizacija troška bez evaluacijskog skupa riskira slijepu zamjenu kvalitete za uštedu. Prvo postavite prag kvalitete, pa smanjujte trošak ispod njega.
• Zanemarivanje agentskog množitelja. Agentski radni tokovi iznova čitaju kontekst na svakom koraku. Mala neučinkovitost po krugu množi se kroz petlju od deset koraka u velik račun.

Zaključak

Ekonomija inferencije tiha je disciplina koja razdvaja AI demoe od AI poslova. Cijena inteligencije pada i nastavit će padati — ali to nagrađuje samo timove koji uštedu pretvore u više upotrebe uz zdravu maržu, umjesto da gledaju kako je rastući račun briše. Poluge su neglamurozne i dobro poznate: predmemorirajte stabilni kontekst, batchirajte ono što može čekati, usmjerite svaki poziv na najmanji sposoban model, držite izlaz kratkim i prestanite plaćati čitanje smeća. Napravite to kako treba i inferencija postaje ono što bi trebala biti — trošak koji skladno raste s vrijednošću koju isporučujete, a ne porez koji raste brže od vaših prihoda.