Modell-Quantisierung 2026: Große KI auf kleiner Hardware

Die Faustregel. Der Wechsel von 16 auf 8 Bit halbiert den Speicher grob, bei einem Qualitätsverlust, der meist zu klein zum Messen ist. Der Wechsel auf 4 Bit ist grob ein Viertel, mit einem kleinen, aber realen Rückgang, den gute Verfahren winzig halten. Unter 4 Bit wachsen die Verluste schnell — deshalb sind 4 Bit die beliebte Untergrenze für den lokalen Betrieb großer Modelle.

Qualität: was Sie tatsächlich aufgeben

Quantisierung ist nicht kostenlos, aber der Preis ist kleiner, als die Intuition vermuten lässt. Bei 8 Bit sind die meisten Modelle bei realen Aufgaben praktisch nicht vom Original zu unterscheiden. Bei 4 Bit mit einem guten Verfahren beträgt der Abstand auf Standard-Benchmarks oft ein oder zwei Punkte — in den meisten Anwendungen unsichtbar, gelegentlich bei den schwierigsten Denk- oder Programmierproblemen spürbar. Der Verlust ist nicht gleichmäßig: Er zeigt sich zuerst bei langen, präzisen Logikketten und seltenem Wissen und zuletzt bei alltäglichen Dialogaufgaben. Deshalb lautet die richtige Frage nie „ist Quantisierung verlustfrei?“, sondern „ist der Verlust bei meiner Arbeitslast sichtbar?“

Die Formate, von denen Sie hören werden

„Quantisierung“ ist eine Familie von Verfahren, und die Namen sind wichtig, weil sie signalisieren, wie das Modell komprimiert wurde und wo es läuft:

• INT8 / INT4 — die Zielpräzisionen: 8-Bit- oder 4-Bit-Ganzzahlen pro Gewicht. Die meisten anderen Namen sind Rezepte, um gut dorthin zu gelangen.
• GPTQ & AWQ — clevere Post-Training-Verfahren, die anhand eines kleinen Kalibrierungsdatensatzes entscheiden, wie jedes Gewicht gerundet wird, und die wichtigsten Gewichte schützen. Die erste Wahl fürs 4-Bit-Serving auf GPUs.
• GGUF — das Dateiformat hinter llama.cpp und dem Local-AI-Ökosystem, mit vielen Quantisierungsstufen (Q4, Q5, Q8…), abgestimmt auf CPUs, Laptops und Handys.
• FP8 — ein 8-Bit-Gleitkomma-Format, inzwischen auf modernen GPUs hardwarebeschleunigt, zunehmend genutzt, um Frontier-Modelle günstig bei nahezu originaler Qualität auszuliefern.
• QAT vs. PTQ — quantisierungsbewusstes Training bäckt die Kompression schon während des Trainings ein, für beste Qualität bei niedrigen Bitbreiten; Post-Training-Quantisierung komprimiert ein fertig trainiertes Modell in Minuten. PTQ ist weit verbreiteter, weil es günstig ist.

Sie wählen diese selten von Hand, es sei denn, Sie hosten selbst. Sie leben in Inferenz-Engines und Modell-Hubs und passen natürlich zu spekulativem Decoding und Distillation, um das Serving günstig zu machen. Wenn die API eines Anbieters für die Modellgröße erstaunlich günstig ist, ist Quantisierung oft ein Teil des Grundes.

Präzision	Speicher vs. 16 Bit	Typische Qualität	Am besten für
16 Bit (FP16/BF16)	Basis	Voll	Training, qualitätskritisches Serving
8 Bit (INT8/FP8)	~½	Nahezu identisch	Günstiges hochwertiges Serving
4 Bit (INT4)	~¼	Kleiner Rückgang	Lokaler & Single-GPU-Einsatz
Unter 4 Bit	<¼	Wachsender Verlust	Nur bei extremen Speichergrenzen

Wo es hilft und wo nicht

Quantisierung glänzt, wenn der Speicher die Beschränkung ist: ein größeres, klügeres Modell auf der vorhandenen GPU betreiben; KI auf einen Laptop, ein Handy oder ein Edge-Gerät ohne Cloud-Umweg bringen; oder die Serving-Kosten pro Token einer stark frequentierten API senken. Weniger wichtig ist sie, wenn Sie bereits rechen- statt speichergebunden sind, oder wenn Ihre Arbeitslast anspruchsvolles Denken ist, bei dem jeder Qualitätspunkt zählt — dort ist der sicherere Weg eine höhere Präzision oder ein kleineres Modell in voller Präzision. Und eine schlecht gemachte 4-Bit-Quantisierung kann ein Modell weit stärker verschlechtern als eine sorgfältige, sodass das Verfahren ebenso wichtig ist wie die Bitbreite.

Warum es Käufer interessieren sollte

Selbst wenn Sie nie ein Modell selbst quantisieren, verändert das Konzept, was möglich und bezahlbar ist. Es lässt Sie ein leistungsfähiges Modell auf dem Gerät für Datenschutz oder Offline-Nutzung betreiben, und macht das Selbst-Hosten eines Open-Weight-Modells für EU-Datenresidenz wirtschaftlich statt schmerzhaft teuer. Der praktische Rat ist einfach: Wenn Sie ein Open-Weight-Modell bewerten, testen Sie genau die quantisierte Variante, die Sie einsetzen wollen — nicht die Vollpräzisionsversion aus dem Ranking — mit Ihren eigenen Prompts. Zwei 4-Bit-Varianten desselben Modells können sich unterscheiden, und der einzige Benchmark, der zählt, ist Ihre Aufgabe.

Fazit

Quantisierung ist der stille Kompressionstrick, der große KI in Reichweite gewöhnlicher Hardware brachte. Indem sie jedes Gewicht in weniger Bit speichert, tauscht sie einen Hauch Präzision gegen große Einsparungen bei Speicher, Kosten und Energie — und moderne Verfahren haben diesen Tausch so günstig gemacht, dass 4-Bit-Modelle heute Routine sind. Wenn Sie das nächste Mal ein ernstes Modell auf einer einzelnen GPU oder einem Laptop laufen lassen, betreiben Sie fast sicher ein quantisiertes — und Sie merken es wahrscheinlich nicht.