Kvantizacija modela 2026: veliki AI na maloj opremi

Pravilo palca. Prijelaz s 16 na 8 bitova otprilike prepolovljava memoriju uz gubitak kvalitete obično premalen da bi se izmjerio. Prijelaz na 4 bita otprilike je četvrtina, uz mali ali stvaran pad koji dobre metode drže sićušnim. Ispod 4 bita gubici brzo rastu — zato je 4 bita popularna donja granica za lokalno pokretanje velikih modela.

Kvaliteta: što zapravo gubite

Kvantizacija nije besplatna, ali je cijena manja nego što intuicija sugerira. Na 8 bitova većina je modela na stvarnim zadacima praktički nerazlučiva od izvornika. Na 4 bita s dobrom metodom razmak je na standardnim mjerilima često bod ili dva — nevidljiv u većini primjena, povremeno primjetan na najtežim problemima zaključivanja ili programiranja. Gubitak nije ravnomjeran: prvo se pojavljuje na dugim, preciznim lancima logike i rijetkom znanju, a posljednje na svakodnevnim razgovornim zadacima. Zato pravo pitanje nikad nije „je li kvantizacija bez gubitka?” nego „je li gubitak vidljiv na mojem opterećenju?”

Formati o kojima ćete čuti

„Kvantizacija” je obitelj metoda, a nazivi su bitni jer signaliziraju kako je model sažet i gdje radi:

• INT8 / INT4 — ciljane preciznosti: 8-bitni ili 4-bitni cijeli brojevi po težini. Većina ostalih naziva recepti su kako dobro do njih doći.
• GPTQ i AWQ — pametne metode nakon treniranja koje odlučuju kako zaokružiti svaku težinu gledajući mali kalibracijski skup, štiteći težine koje najviše znače. Prvi izbor za 4-bitno posluživanje na GPU-u.
• GGUF — format datoteke iza llama.cpp i ekosustava lokalnog AI-a, s mnogo razina kvantizacije (Q4, Q5, Q8…) podešenih za rad na CPU-ima, prijenosnicima i mobitelima.
• FP8 — 8-bitni format s pomičnim zarezom, sada hardverski ubrzan na modernim GPU-ima, sve se više koristi za jeftino posluživanje frontier modela uz kvalitetu blisku izvornoj.
• QAT naspram PTQ — treniranje svjesno kvantizacije ugrađuje sažimanje tijekom treninga za najbolju kvalitetu pri niskim bitovima; kvantizacija nakon treninga sažima već istrenirani model u nekoliko minuta. PTQ je daleko češći jer je jeftin.

Rijetko ih birate ručno osim ako sami hostate. Žive unutar motora za inferenciju i model-huba te se prirodno spajaju sa spekulativnim dekodiranjem i destilacijom kako bi posluživanje bilo jeftino. Kad je API pružatelja iznenađujuće jeftin za veličinu modela, kvantizacija je često dio razloga.

Preciznost	Memorija vs 16 bita	Tipična kvaliteta	Najbolje za
16 bita (FP16/BF16)	Osnovica	Puna	Trening, posluživanje kritično za kvalitetu
8 bita (INT8/FP8)	~½	Gotovo identična	Jeftino posluživanje visoke kvalitete
4 bita (INT4)	~¼	Mali pad	Lokalna primjena i jedan GPU
Ispod 4 bita	<¼	Rastući gubitak	Samo za ekstremna memorijska ograničenja

Gdje pomaže, a gdje ne

Kvantizacija blista kad je memorija ograničenje: pokretanje većeg, pametnijeg modela na GPU-u koji imate; smještanje AI-a na prijenosnik, mobitel ili rubni uređaj bez odlaska u oblak; ili rezanje troška posluživanja po tokenu na API-ju s velikim prometom. Manje je bitna kad ste već ograničeni računalnom snagom, a ne memorijom, ili kad je vaše opterećenje zahtjevno zaključivanje gdje se svaki bod kvalitete broji — tu je sigurniji potez viša preciznost ili manji model u punoj preciznosti. Loše izvedena 4-bitna kvantizacija može model pokvariti mnogo više od pažljive, pa je metoda jednako važna kao i broj bitova.

Zašto je bitno kupcima

Čak i ako sami nikad ne kvantizirate model, koncept mijenja što je moguće i priuštivo. Zbog njega možete pokrenuti sposoban model na uređaju radi privatnosti ili rada bez mreže, a samostalno hostanje modela otvorenih težina radi EU rezidentnosti podataka postaje isplativo umjesto bolno skupo. Praktični je savjet jednostavan: kad ocjenjujete model otvorenih težina, testirajte upravo onu kvantiziranu verziju koju namjeravate primijeniti — ne verziju pune preciznosti s ljestvice — na vlastitim upitima. Dvije 4-bitne verzije istog modela mogu se razlikovati, a jedino mjerilo koje se broji jest vaš zadatak.

Zaključak

Kvantizacija je tihi trik sažimanja koji je veliki AI doveo nadohvat obične opreme. Pohranjujući svaku težinu u manje bitova, mijenja djelić preciznosti za veliku uštedu memorije, troška i energije — a moderne su metode taj kompromis učinile toliko povoljnim da su 4-bitni modeli danas rutina. Sljedeći put kad pokrenete ozbiljan model na jednom GPU-u ili prijenosniku, gotovo sigurno pokrećete kvantizirani, i vjerojatno to ne možete ni primijetiti.