Spekulatives Decoding 2026: Wie KI-Modelle doppelt so schnell wurden — ohne Qualitätsverlust

Stellen Sie einem großen Sprachmodell eine Frage, und es antwortet Wort für Wort — jedes Token wartet auf das davor. Dieser sequentielle Takt ist der Grund, warum große Modelle langsam wirken, und er schien lange unvermeidlich: Entweder man betreibt ein kleineres, schnelleres Modell und verliert Qualität, oder man zahlt mit Latenz für das gute. Spekulatives Decoding hat diesen Kompromiss still aufgebrochen. Es ist der Grund, warum ein Frontier-Modell im Tempo eines viel kleineren streamen und dabei exakt denselben Text erzeugen kann — und es läuft unter den meisten schnellen APIs, die Sie diese Woche genutzt haben.

Das Problem: ein Wort nach dem anderen

Textgenerierung ist autoregressiv — das Modell sagt Token 2 mithilfe von Token 1 voraus, Token 3 mithilfe von Token 1 und 2 und so weiter. Jeder Schritt erfordert einen vollständigen Durchlauf durch das gesamte Netz. Bei einem großen Modell ist dieser eine Durchlauf teuer, und das nächste Token kann erst beginnen, wenn dieses fertig ist. Die Folge: Latenz ist gebunden an die Modellgröße mal die Anzahl der Tokens, egal wie viel GPU Sie einsetzen. Mehr Hardware macht jeden Durchlauf etwas schneller; sie hebt nicht auf, dass sie strikt der Reihe nach geschehen.

Der Trick: vorausraten, dann prüfen

Spekulatives Decoding fügt ein zweites, viel kleineres Entwurfsmodell hinzu, das vorauseilt und mehrere Tokens auf einmal vorschlägt — eine billige, schnelle Vermutung, was als Nächstes kommt. Das große Zielmodell tut dann etwas Cleveres: Statt diese Tokens selbst zu erzeugen, prüft es alle Vermutungen des Entwurfs in einem einzigen Durchlauf. Wo der Entwurf mit dem übereinstimmt, was das große Modell ohnehin gesagt hätte, werden diese Tokens kostenlos akzeptiert. Bei der ersten Abweichung gewinnt die eigene Antwort des großen Modells, der Rest des Entwurfs wird verworfen, und der Zyklus wiederholt sich.

Warum hilft das? Weil ein Großteil von Sprache vorhersehbar ist. Textbausteine, gängige Formulierungen, die zweite Hälfte eines Wortes, schließende Klammern, der offensichtliche nächste Schritt in einer Liste — ein winziges Modell trifft diese meist. Das teure große Modell winkt sie dann im Bündel durch und investiert echte Mühe nur in die schweren, überraschenden Tokens. Ein Durchlauf des großen Modells kann mehrere Tokens statt eines finalisieren.

Die Akzeptanzrate ist das ganze Spiel

Die Beschleunigung hängt von einer Zahl ab: der Akzeptanzrate — wie viele der Vermutungen des Entwurfs das große Modell behält. Ein gut abgestimmtes Entwurfsmodell sieht bei vorhersehbarem Text vielleicht drei oder vier akzeptierte Tokens pro Runde; bei dichtem, ungewöhnlichem Inhalt vielleicht eines. Die Kunst des Tunings besteht darin, ein Entwurfsmodell zu wählen, das schnell genug ist, um billig zu sein, und genau genug, um oft akzeptiert zu werden. Zu groß, und es kostet so viel wie das Modell, dem es hilft; zu klein, und seine Vermutungen werden verworfen, sodass Sie nichts gewinnen.

Die Varianten, von denen Sie hören werden

„Spekulatives Decoding\" ist heute eine Familie von Techniken, und Anbieter kombinieren sie:

• Entwurfsmodell-Spekulation — der Klassiker: ein separates kleines Modell schlägt Tokens vor, die ein großes prüft.
• Selbstspekulation / Medusa-Köpfe — das Modell sagt mehrere künftige Tokens mit zusätzlichen leichten Ausgabeköpfen voraus, sodass kein separates Entwurfsmodell nötig ist.
• N-Gramm / Prompt-Lookup — bei Aufgaben mit viel Wiederholung (Dokument zusammenfassen, Code bearbeiten) werden Vermutungen direkt aus dem Eingabetext gezogen statt aus einem Modell.
• EAGLE und Nachfolger — schlaueres Entwerfen, das auf Feature-Ebene vorhersagt, für höhere Akzeptanzraten.

Sie wählen diese selten namentlich. Sie stecken in Serving-Stacks — Inferenz-Engines wie vLLM und TensorRT-LLM liefern sie, und die großen API-Anbieter (Anthropic, OpenAI, Mistral und die Welt des Open-Weight-Servings) wenden sie im Hintergrund an. Wenn die schnelle Stufe eines Anbieters verdächtig flott für die Modellgröße wirkt, ist spekulatives Decoding oft Teil der Antwort — neben Quantisierung und Prompt-Caching.

Was es kostet und wo es nicht hilft

Spekulatives Decoding kommt einem kostenlosen Mittagessen nahe, aber nicht ganz. Der Betrieb eines Entwurfsmodells verbraucht zusätzlichen Speicher und Rechenleistung, sodass auf einem voll ausgelasteten Server mit vielen parallelen Anfragen die freie Kapazität, die das Entwerfen billig machte, womöglich nicht existiert — die Gewinne schrumpfen unter starkem Batching. Es hilft zudem der Latenz pro Anfrage mehr als dem reinen Durchsatz über eine ausgelastete Flotte. Und bei wirklich unvorhersehbarer Ausgabe, wo der Entwurf meist falsch liegt, kann der Overhead die Dinge sogar leicht verlangsamen. Deshalb ist es eine einstellbare Funktion und kein Schalter, der immer an ist.

Warum es Käufer interessieren sollte

Sie werden spekulatives Decoding nicht selbst implementieren, es sei denn, Sie hosten selbst — aber zu wissen, dass es existiert, ändert, wie Sie eine Preisseite lesen. Zwei Anbieter, die das „gleiche\" Modell bereitstellen, können sich in der Latenz stark unterscheiden, weil einer den besseren Serving-Stack hat. Wenn Sie Modelle für ein latenzsensibles Produkt vergleichen (Voice-Agent, Live-Coding-Assistent, interaktiver Chatbot), messen Sie Time-to-First-Token und Tokens pro Sekunde auf Ihren eigenen Prompts, nicht nur die Benchmark-Werte. Die Serving-Technik ist heute ebenso ein Differenzierer wie die Modellgewichte. Und wenn Sie aus Gründen der Datenresidenz selbst hosten, ist das Einschalten von spekulativem Decoding in Ihrer Inferenz-Engine eine der günstigsten verfügbaren Beschleunigungen.

Fazit

Spekulatives Decoding ist eine seltene Art von Optimierung: Es macht KI spürbar schneller bei null Kosten für die Ausgabequalität, indem ein billiges Modell das leichte Raten übernimmt und ein schlaues Modell nur das Prüfen. Es ist für Endnutzer unsichtbar und im Produktions-Serving zunehmend Standard — genau deshalb können Modelle in Frontier-Qualität heute in einem Tempo streamen, das vor zwei Jahren unmöglich schien. Wenn Sie das nächste Mal bemerken, wie ein großes Modell verblüffend schnell antwortet, ist dieser Raten-und-Prüfen-Tanz sehr oft das, was Sie beobachten.