Spekulativno dekodiranje 2026: kako su AI modeli postali dvostruko brži bez gubitka kvalitete

Postavite pitanje velikom jezičnom modelu i on odgovara riječ po riječ — svaki token čeka onaj prije sebe. Taj slijedni ritam razlog je zašto veliki modeli djeluju sporo, i dugo se činio neizbježnim: ili pokrenete manji, brži model i izgubite kvalitetu, ili plaćate latencijom za dobar model. Spekulativno dekodiranje tiho je srušilo taj kompromis. Ono je razlog zašto frontier model može strujati brzinom mnogo manjeg, a proizvoditi potpuno isti tekst — i radi ispod većine brzih API-ja koje ste ovaj tjedan koristili.

Problem: jedna riječ u trenutku

Generiranje teksta je autoregresivno — model predviđa token 2 pomoću tokena 1, token 3 pomoću tokena 1 i 2, i tako dalje. Svaki korak zahtijeva potpuni prolaz kroz cijelu mrežu. Za velik model taj je prolaz skup, a sljedeći token ne možete započeti dok ovaj nije gotov. Rezultat je da je latencija ograničena veličinom modela pomnoženom brojem tokena, koliko god GPU-a dodali. Više hardvera čini svaki prolaz malo bržim; ne uklanja činjenicu da se odvijaju strogo redom.

Trik: pogodi unaprijed, pa provjeri

Spekulativno dekodiranje dodaje drugi, mnogo manji nacrt model koji juri naprijed i predlaže nekoliko tokena odjednom — jeftinu, brzu pretpostavku onoga što slijedi. Veliki ciljni model tada radi nešto pametno: umjesto da sam generira te tokene, on provjerava sve pretpostavke nacrta u jednom prolazu. Gdje se nacrt složio s onim što bi veliki model ionako rekao, ti se tokeni prihvaćaju besplatno. Kod prvog neslaganja pobjeđuje odgovor velikog modela, ostatak nacrta se odbacuje, i ciklus se ponavlja.

Zašto to pomaže? Zato što je velik dio jezika predvidljiv. Šablonski tekst, uobičajene fraze, druga polovica riječi, zatvorene zagrade, očiti sljedeći korak u popisu — malen model ih većinom pogodi. Skupi veliki model tada ih propušta u paketu i troši pravi napor samo na teške, iznenađujuće tokene. Jedan prolaz velikog modela može finalizirati nekoliko tokena umjesto jednog.

Stopa prihvaćanja je cijela igra

Ubrzanje ovisi o jednom broju: stopi prihvaćanja — koliko pretpostavki nacrta veliki model zadrži. Dobro usklađen nacrt model na predvidljivom tekstu može vidjeti tri-četiri prihvaćena tokena po rundi; na gustom, neuobičajenom sadržaju možda jedan. Umijeće ugađanja spekulativnog dekodiranja jest izbor nacrt modela koji je dovoljno brz da bude jeftin, a dovoljno točan da bude često prihvaćen. Napravite nacrt prevelikim i košta koliko i model kojem pomaže; premalim i pretpostavke se odbacuju pa ne dobivate ništa.

Varijante o kojima ćete čuti

„Spekulativno dekodiranje\" danas je obitelj tehnika, a proizvođači ih kombiniraju:

• Spekulacija s nacrt modelom — klasika: zaseban mali model predlaže tokene koje veliki provjerava.
• Samospekulacija / Medusa glave — model predviđa nekoliko budućih tokena dodatnim laganim izlaznim glavama, pa zaseban nacrt model nije potreban.
• N-gram / pretraga upita — za zadatke s puno ponavljanja (sažimanje dokumenta, uređivanje koda) pretpostavke se vuku izravno iz ulaznog teksta umjesto iz modela.
• EAGLE i nasljednici — pametnije skiciranje koje predviđa na razini značajki za veće stope prihvaćanja.

Rijetko ih birate imenom. Ugrađene su u stogove za posluživanje — inferencijski motori poput vLLM-a i TensorRT-LLM-a nose ih, a veliki API pružatelji (Anthropic, OpenAI, Mistral i svijet posluživanja modela otvorenih težina) primjenjuju ih u pozadini. Kad brzi sloj nekog pružatelja djeluje sumnjivo hitro za veličinu modela, spekulativno dekodiranje često je dio odgovora, uz kvantizaciju i predmemoriranje upita.

Što košta i gdje ne pomaže

Spekulativno dekodiranje blizu je besplatnom ručku, ali ne posve. Pokretanje nacrt modela troši dodatnu memoriju i računalnu snagu, pa na potpuno zasićenom poslužitelju koji obrađuje mnogo paralelnih zahtjeva slobodni kapacitet koji je skiciranje činio jeftinim možda ne postoji — dobici se smanjuju pod teškim grupiranjem. Također više pomaže latenciji po zahtjevu nego sirovoj propusnosti preko zauzete flote. A na uistinu nepredvidljivom izlazu, gdje je nacrt većinom u krivu, režija čak može stvari malo usporiti. Zato je to podesiva značajka, a ne prekidač koji je uvijek uključen.

Zašto bi kupcima bilo stalo

Spekulativno dekodiranje nećete sami implementirati osim ako ne poslužujete sami — ali znati da postoji mijenja kako čitate cjenik. Dva pružatelja koji poslužuju „isti\" model mogu se dramatično razlikovati po latenciji jer jedan ima bolji stog za posluživanje. Kad uspoređujete modele za latencijski osjetljiv proizvod (glasovni agent, uživo asistent za kod, interaktivni chatbot), mjerite vrijeme do prvog tokena i tokene po sekundi na vlastitim upitima, ne samo rezultate benchmarka. Tehnika posluživanja danas je jednako diferencijator kao i težine modela. A ako poslužujete sami zbog rezidentnosti podataka, uključivanje spekulativnog dekodiranja u vašem motoru jedno je od najjeftinijih ubrzanja.

Zaključak

Spekulativno dekodiranje rijetka je vrsta optimizacije: čini AI osjetno bržim uz nulti trošak za kvalitetu izlaza, tako što jeftin model radi lako pogađanje a pametan model samo provjerava. Nevidljivo je krajnjim korisnicima i sve je standardnije u produkcijskom posluživanju, a upravo zato modeli frontier kvalitete danas mogu strujati brzinom koja se prije dvije godine činila nemogućom. Kad sljedeći put primijetite kako veliki model odgovara zapanjujuće brzo, taj ples „pogodi pa provjeri\" vrlo je često ono što gledate.