Korisnici AI asistentu prije oproste osrednju rečenicu nego prazan ekran. Brzina odlučuje zvuči li glasovni agent prirodno, ostaje li programer u ritmu s agentom za kodiranje i koristi li se chatbot uopće. U 2026. latencija ima novi glavni uzrok: razmišljanje. Modeli koji rasuđuju sada provedu sekunde ili minute prije nego napišu ijednu riječ, a pružatelji prodaju brzinu kao plaćenu opciju. Usporedili smo podatke benchmarka Artificial Analysis za aktualne modele Anthropica, OpenAI-ja, Mistrala i Googlea te brze načine rada koje Anthropic i OpenAI sada naplaćuju.
Tri broja koja određuju brzinu
"Brzo" znači tri različite stvari i svaka je važna za drugu primjenu:
- Vrijeme do prvog tokena (TTFT) je čekanje dok odgovor ne počne. Kod modela koji razmišljaju korisna je varijanta vrijeme do prvog tokena odgovora, koja uključuje fazu razmišljanja. O njoj ovisi djeluje li chat ili glasovno sučelje živo.
- Brzina generiranja je broj tokena u sekundi nakon prvog. O njoj ovisi koliko traje dug odgovor, izvješće ili generirani kod.
- Ukupno vrijeme odgovora je sve zajedno: obrada ulaza, razmišljanje i odgovor. Kod agenata koji u nizu rade desetke poziva to je broj koji se zbraja.
Artificial Analysis mjeri sva tri oko osam puta dnevno s upitom od 10.000 tokena s Google Cloud poslužitelja u SAD-u i objavljuje medijan zadnja 72 sata. Korisnici u Europi dodaju mrežnu latenciju, a dulji upiti povećavaju vrijeme do prvog tokena. Brojke u nastavku očitane su 25. listopada 2026.
Brzina generiranja: mali modeli pišu dva do četiri puta brže
Poredak prati veličinu modela. Gemini 3.5 Flash-Lite piše 414 tokena u sekundi, Claude Haiku 5.5 181, Mistral Small 4 178 i Mistral Medium 3.5 162. Najjači modeli su u drugoj ligi: Claude Sonnet 5.5 106, Claude Opus 5.5 80, Claude Fable 5.1 58, a OpenAI-jevi GPT-6 Astra i GPT-6.1 Sol 53 do 57. Za odgovor od 1.000 tokena to je oko 5,5 sekundi pisanja s Haikuom 5.5, 12,5 sekundi s Opusom 5.5 i 19 sekundi s GPT-6.1 Solom, uz eventualno vrijeme razmišljanja.
Izvor: Artificial Analysis LLM leaderboard, očitano 25. listopada 2026. (upit od 10k tokena, medijan zadnja 72 sata, API-ji samih pružatelja). Modeli koji razmišljaju na naporu "high" gdje model nudi razine. Brzina broji tokene nakon prvog.
Brzina generiranja gotovo ne ovisi o naporu razmišljanja: Opus 5.5 piše 80 do 96 tokena/s na svakoj razini, GPT-6.1 Sol 51 do 59. S naporom se mijenja koliko model razmišlja prije nego počne pisati.
Prava latencija je razmišljanje
Sva četiri pružatelja sada omogućuju izbor koliko model rasuđuje (Anthropic i OpenAI parametrom napora, Mistral i Google zasebnim modelima za rasuđivanje ili budžetom razmišljanja). Učinak na čekanje je golem. Claude Opus 5.5 do prvog tokena odgovora treba 6 sekundi na niskom naporu, 16 na srednjem, 30 na visokom, 110 na vrlo visokom i 653 na maksimalnom, više od deset minuta. GPT-6.1 Sol ide od 2 do 236 sekundi. Claude Sonnet 5.5 na niskom i srednjem naporu odgovara za manje od 1,5 sekunde, pa je model koji u ovoj skupini najbrže počinje.
Izvor: Artificial Analysis, očitano 25. listopada 2026. Vrijeme od zahtjeva do prvog tokena odgovora, uključujući razmišljanje. Logaritamska os: svaka linija mreže deset je puta dulja. Oznake prikazuju Claude Opus 5.5.
Što kupuju dodatne sekunde
Više razmišljanja podiže kvalitetu, ali s brzo opadajućim povratom. Na indeksu Artificial Analysis Intelligence Index Opus 5.5 od niskog do srednjeg napora dobiva 9 bodova za oko 9 sekundi više ukupno. Od visokog do maksimalnog dobiva 4 boda za više od 10 minuta dodatnog čekanja. GPT-6.1 Sol dobiva 6 bodova od niskog do srednjeg i samo još 4 kroz ostatak raspona. Sonnet 5.5 na vrlo visokom naporu (52 boda, 32 sekunde) postiže otprilike koliko GPT-6.1 Sol na maksimalnom (52 boda, 245 sekundi).
Izvor: Artificial Analysis Intelligence Index i ukupno vrijeme odgovora, očitano 25. listopada 2026. Svaka točka na liniji jedna je razina napora (nizak, srednji, visok, vrlo visok, maks.). Logaritamska vremenska os.
Napor određuje i račun
Tokeni razmišljanja naplaćuju se kao izlazni tokeni, pa latencija i trošak rastu zajedno. Cijeli Intelligence Index po zadatku košta 0,55 USD s Opusom 5.5 na niskom naporu i 5,98 USD na maksimalnom, jedanaest puta više. Sonnet 5.5 raste s 0,35 na 5,46 USD. GPT-6.1 Sol ostaje jeftiniji po zadatku (0,13 do 0,72 USD), a Haiku 5.5 je u drugoj kategoriji s 2 do 21 cent.
Izvor: Artificial Analysis, trošak po zadatku u evaluaciji Intelligence Index, očitano 25. listopada 2026. Cjenik API-ja samih pružatelja; popusti za predmemoriranje i batch nisu uključeni.
Kupnja brzine: brzi načini rada i poseban hardver
- Anthropic prodaje fast mode za Claude Opus 5.5: isti model na bržoj konfiguraciji inferencije, s do 2,5 puta većom brzinom generiranja. Uključuje se po zahtjevu s
speed: "fast"i stoji 8 USD ulaz i 40 USD izlaz po milijun tokena, dvostruko od standardnih 4 i 20. Ubrzava izlaz, ne vrijeme do prvog tokena, ima vlastito ograničenje zahtjeva i ne radi s Batch API-jem ni s Priority Tier ugovorom. Na Opusu 5 i Opusu 4.8 još je istraživački pretpregled. - OpenAI je 30. srpnja 2026. preimenovao priority processing u Fast mode. Plaća se po potrošnji po višim cijenama i prema OpenAI-ju je do 2,5 puta brži za njihov najjači model, uz minimalnu brzinu u tokenima po sekundi za svaki model. Lokalizirane verzije OpenAI-jeve stranice prikazuju različite cijene, pa prije planiranja budžeta provjerite aktualne brojke.
- Mistral je išao putem hardvera: od veljače 2025. Flash Answers u Le Chatu rade na Cerebras čipovima, za koje Cerebras navodi više od 1.100 tokena u sekundi s modelom Mistral Large 2. U API-ju su Mistralovi mali i srednji modeli među najbržima kod svih pružatelja.
- Manus je agentski proizvod, a ne API za modele, i ne objavljuje brzine u tokenima. Njegova se brzina mjeri u minutama po zadatku, što ovisi o modelima ispod i broju koraka.
Proračun latencije po primjeni
| Primjena | Što je važno | Realan izbor |
|---|---|---|
| Glasovni agent, telefonski bot | Prvi token ispod otprilike 1 sekunde | Mali modeli bez razmišljanja (Haiku 5.5 low, Mistral Small 4, Flash-Lite) ili namjenski realtime model; Sonnet 5.5 na niskom naporu |
| Chat s kupcima, interni asistent | Brz početak, čitljivo strujanje | Sonnet 5.5 na niskom ili srednjem naporu, Haiku 5.5 za jednostavna pitanja; svaki odgovor strujati |
| Klasifikacija, ekstrakcija, usmjeravanje | Propusnost i cijena po pozivu | Haiku 5.5, Mistral Small 4, GPT-6 Luna; batch gdje nitko ne čeka |
| Agent za programiranje, interaktivna analiza | Kvaliteta, zatim brzina generiranja | Opus 5.5 ili Sonnet 5.5 na visokom naporu; fast mode gdje programer čeka |
| Noćna izvješća, teške analize | Samo kvaliteta | Opus 5.5 ili GPT-6 Astra na vrlo visokom ili maksimalnom naporu, preko Batch API-ja (pola cijene) |
Tri inženjerske navike važnije su od izbora modela. Strujte svaki odgovor koji vidi korisnik, da se prve riječi pojave dok se ostatak piše. Predmemorirajte duge sistemske upite i dokumente (vidi predmemoriranje upita), što skraćuje vrijeme do prvog tokena kod dugih konteksta. I usmjeravajte zahtjeve: mali, brzi model odgovara na jednostavnu većinu, a teške slučajeve predaje najjačem modelu (vidi usmjeravanje AI modela).
Što to znači za tvrtke u Hrvatskoj i DACH regiji
Većina europskih tvrtki poziva modele smještene u SAD-u, pa svaki zahtjev prelazi Atlantik, a opcije smještaja podataka u EU mogu donijeti vlastitu cijenu i ograničenja kapaciteta. Zato su odluke na strani modela još važnije: asistent koji po defaultu radi na maksimalnom naporu djeluje pokvareno, koliko god bio pametan. Mjerite latenciju s vlastitih poslužitelja i s vlastitim upitima, postavite napor razmišljanja po zadatku i odlučite gdje se brzina isplati platiti. Bot za podršku u Zagrebu ili Beču treba brz prvi token; mjesečno izvješće o rizicima može razmišljati deset minuta.
Česta pitanja
Koji je AI model najbrži u 2026.?
U benchmarku Artificial Analysis (listopad 2026.) prednjači Gemini 3.5 Flash-Lite s 414 izlaznih tokena u sekundi. Od modela Anthropica, OpenAI-ja i Mistrala najbrži su Claude Haiku 5.5 (173 do 234 tokena/s ovisno o naporu), Mistral Small 4 (178) i Mistral Medium 3.5 (162). Najjači modeli sporiji su: Claude Opus 5.5 piše 80 do 96 tokena/s, GPT-6.1 Sol 51 do 59.
Koja je razlika između vremena do prvog tokena i brzine generiranja?
Vrijeme do prvog tokena je čekanje dok se išta ne pojavi; kod modela koji razmišljaju korisna je mjera vrijeme do prvog tokena odgovora, koje uključuje razmišljanje. Brzina generiranja je broj tokena u sekundi nakon toga. Chat djeluje živo kad je prvi token brz; dugo izvješće ranije je gotovo kad je brzina generiranja visoka.
Koliko napor razmišljanja usporava model?
Jako. Claude Opus 5.5 do prvog tokena odgovora treba oko 6 sekundi na niskom naporu, 16 na srednjem, 30 na visokom, 110 na vrlo visokom i 653 na maksimalnom. GPT-6.1 Sol ide od 2 do 236 sekundi. Rezultat inteligencije raste za 10 do 16 bodova kroz taj raspon, ali najveći dio dobitka dolazi u prvim koracima.
Isplati li se plaćati Claude fast mode?
Fast mode pokreće Claude Opus 5.5 s do 2,5 puta većom brzinom generiranja po dvostrukoj cijeni (8 USD ulaz i 40 USD izlaz po milijun tokena umjesto 4 i 20). Ubrzava izlaz, ne vrijeme do prvog tokena. Isplati se gdje čovjek čeka dug odgovor, npr. kod agenata za programiranje i interaktivne analize, a ne kod pozadinskih poslova, gdje Batch API umjesto toga prepolovi cijenu.
Je li vaša AI aplikacija prespora?
Mjerimo latenciju u vašem stvarnom okruženju, biramo modele i napor razmišljanja po zadatku te postavljamo strujanje, predmemoriranje i usmjeravanje, da korisnici brzo dobiju odgovore bez preplaćivanja. Kao Claude Certified Architect iz Zagreba radimo s tvrtkama u Hrvatskoj i DACH regiji.
Razgovarajte s AI konzultantom