Nutzer verzeihen einem KI-Assistenten eher einen mittelmäßigen Satz als einen leeren Bildschirm. Geschwindigkeit entscheidet, ob ein Voice-Agent natürlich klingt, ob ein Entwickler mit einem Coding-Agenten im Fluss bleibt und ob ein Chatbot überhaupt genutzt wird. 2026 hat Latenz eine neue Hauptursache: das Nachdenken. Reasoning-Modelle verbringen Sekunden oder Minuten, bevor sie ein Wort schreiben, und die Anbieter verkaufen Geschwindigkeit als bezahlte Option. Wir haben die Benchmark-Daten von Artificial Analysis für die aktuellen Modelle von Anthropic, OpenAI, Mistral und Google verglichen, dazu die Fast Modes, die Anthropic und OpenAI jetzt verkaufen.
Drei Zahlen, die Geschwindigkeit bestimmen
"Schnell" bedeutet drei verschiedene Dinge, und jedes zählt für eine andere Anwendung:
- Time to First Token (TTFT) ist die Wartezeit, bis die Antwort beginnt. Bei Reasoning-Modellen ist die nützliche Variante die Zeit bis zum ersten Antwort-Token, die die Denkphase einschließt. Sie entscheidet, ob ein Chat- oder Sprach-Interface lebendig wirkt.
- Ausgabegeschwindigkeit ist die Zahl der Tokens pro Sekunde nach dem ersten. Sie entscheidet, wie lange eine lange Antwort, ein Bericht oder generierter Code dauert.
- Gesamtantwortzeit ist alles zusammen: Verarbeitung der Eingabe, Nachdenken und Antwort. Bei Agenten, die Dutzende Aufrufe hintereinander machen, ist das die Zahl, die sich aufsummiert.
Artificial Analysis misst alle drei etwa achtmal täglich mit einem Prompt von 10.000 Tokens von einem Google-Cloud-Server in den USA und veröffentlicht den Median der letzten 72 Stunden. Nutzer in Europa kommen Netzwerklatenz hinzu, und längere Prompts erhöhen die Time to First Token. Die folgenden Zahlen wurden am 25. Oktober 2026 abgelesen.
Ausgabegeschwindigkeit: kleine Modelle schreiben zwei- bis viermal schneller
Die Rangfolge folgt der Modellgröße. Gemini 3.5 Flash-Lite schreibt 414 Tokens pro Sekunde, Claude Haiku 5.5 181, Mistral Small 4 178 und Mistral Medium 3.5 162. Die Frontier-Modelle spielen in einer anderen Liga: Claude Sonnet 5.5 106, Claude Opus 5.5 80, Claude Fable 5.1 58, OpenAIs GPT-6 Astra und GPT-6.1 Sol 53 bis 57. Für eine Antwort von 1.000 Tokens sind das etwa 5,5 Sekunden Schreibzeit mit Haiku 5.5, 12,5 Sekunden mit Opus 5.5 und 19 Sekunden mit GPT-6.1 Sol, zuzüglich der Denkzeit.
Quelle: Artificial Analysis LLM Leaderboard, abgelesen am 25. Oktober 2026 (Prompt mit 10k Tokens, Median der letzten 72 Stunden, APIs der Anbieter selbst). Reasoning-Modelle mit Aufwand "high", wo das Modell Stufen anbietet. Gezählt werden Tokens nach dem ersten.
Die Ausgabegeschwindigkeit hängt kaum vom Reasoning-Aufwand ab: Opus 5.5 schreibt auf jeder Stufe 80 bis 96 Tokens/s, GPT-6.1 Sol 51 bis 59. Was sich mit dem Aufwand ändert, ist, wie lange das Modell nachdenkt, bevor es zu schreiben beginnt.
Die eigentliche Latenz ist das Nachdenken
Alle vier Anbieter lassen inzwischen wählen, wie viel ein Modell nachdenkt (Anthropic und OpenAI über einen Effort-Parameter, Mistral und Google über eigene Reasoning-Modelle oder Thinking-Budgets). Die Wirkung auf die Wartezeit ist enorm. Claude Opus 5.5 braucht bis zum ersten Antwort-Token 6 Sekunden bei niedrigem Aufwand, 16 bei mittlerem, 30 bei hohem, 110 bei sehr hohem und 653 bei maximalem, mehr als zehn Minuten. GPT-6.1 Sol geht von 2 auf 236 Sekunden. Claude Sonnet 5.5 antwortet bei niedrigem und mittlerem Aufwand in unter 1,5 Sekunden und ist damit das am schnellsten startende Modell der Gruppe.
Quelle: Artificial Analysis, abgelesen am 25. Oktober 2026. Zeit von der Anfrage bis zum ersten Antwort-Token, einschließlich Nachdenken. Logarithmische Achse: Jede Gitterlinie ist zehnmal länger. Beschriftungen zeigen Claude Opus 5.5.
Was die zusätzlichen Sekunden bringen
Mehr Nachdenken hebt die Qualität, aber mit stark sinkendem Ertrag. Im Artificial Analysis Intelligence Index gewinnt Opus 5.5 von niedrigem zu mittlerem Aufwand 9 Punkte für etwa 9 Sekunden mehr Gesamtzeit. Von hohem zu maximalem gewinnt es 4 Punkte für mehr als 10 Minuten zusätzliche Wartezeit. GPT-6.1 Sol gewinnt 6 Punkte von niedrig zu mittel und nur noch 4 über den Rest der Spanne. Sonnet 5.5 bei sehr hohem Aufwand (52 Punkte, 32 Sekunden) erreicht etwa so viel wie GPT-6.1 Sol bei maximalem (52 Punkte, 245 Sekunden).
Quelle: Artificial Analysis Intelligence Index und Gesamtantwortzeit, abgelesen am 25. Oktober 2026. Jeder Punkt einer Linie ist eine Aufwandsstufe (niedrig, mittel, hoch, sehr hoch, max.). Logarithmische Zeitachse.
Der Aufwand bestimmt auch die Rechnung
Denk-Tokens werden als Output-Tokens abgerechnet, also steigen Latenz und Kosten gemeinsam. Der gesamte Intelligence Index kostet pro Aufgabe 0,55 USD mit Opus 5.5 bei niedrigem Aufwand und 5,98 USD bei maximalem, elfmal mehr. Sonnet 5.5 steigt von 0,35 auf 5,46 USD. GPT-6.1 Sol bleibt pro Aufgabe günstiger (0,13 bis 0,72 USD), und Haiku 5.5 liegt mit 2 bis 21 Cent in einer anderen Kategorie.
Quelle: Artificial Analysis, Kosten pro Aufgabe in der Intelligence-Index-Evaluierung, abgelesen am 25. Oktober 2026. Listenpreise der Anbieter-APIs; Caching- und Batch-Rabatte nicht berücksichtigt.
Geschwindigkeit kaufen: Fast Modes und Spezialhardware
- Anthropic verkauft einen Fast Mode für Claude Opus 5.5: dasselbe Modell auf einer schnelleren Inferenzkonfiguration, mit bis zu 2,5-facher Ausgabegeschwindigkeit. Er wird pro Anfrage mit
speed: "fast"aktiviert und kostet 8 USD Input und 40 USD Output pro Million Tokens, doppelt so viel wie die regulären 4 und 20. Er beschleunigt die Ausgabe, nicht die Time to First Token, hat ein eigenes Rate Limit und funktioniert weder mit der Batch API noch mit einem Priority-Tier-Vertrag. Auf Opus 5 und Opus 4.8 ist er noch eine Research Preview. - OpenAI hat sein Priority Processing am 30. Juli 2026 in Fast Mode umbenannt. Er wird nutzungsbasiert zu höheren Preisen abgerechnet und ist laut OpenAI für das Frontier-Modell bis zu 2,5-mal schneller, mit einer Mindestgeschwindigkeit in Tokens pro Sekunde je Modell. Lokalisierte Versionen der OpenAI-Seite zeigen unterschiedliche Preise; prüfen Sie die aktuellen Zahlen vor der Budgetplanung.
- Mistral ging den Hardware-Weg: Seit Februar 2025 laufen die Flash Answers in Le Chat auf Cerebras-Chips, für die Cerebras mehr als 1.100 Tokens pro Sekunde mit Mistral Large 2 angibt. In der API gehören Mistrals kleine und mittlere Modelle zu den schnellsten aller Anbieter.
- Manus ist ein Agentenprodukt, keine Modell-API, und veröffentlicht keine Token-Geschwindigkeiten. Seine Geschwindigkeit misst sich in Minuten pro Aufgabe und hängt von den darunterliegenden Modellen und der Zahl der Schritte ab.
Latenzbudgets nach Anwendungsfall
| Anwendungsfall | Worauf es ankommt | Realistische Wahl |
|---|---|---|
| Voice-Agent, Telefonbot | Erstes Token unter etwa 1 Sekunde | Kleine Modelle ohne Reasoning (Haiku 5.5 low, Mistral Small 4, Flash-Lite) oder ein eigenes Realtime-Modell; Sonnet 5.5 bei niedrigem Aufwand |
| Kundenchat, interner Assistent | Schneller Start, lesbares Streaming | Sonnet 5.5 bei niedrigem oder mittlerem Aufwand, Haiku 5.5 für einfache Fragen; jede Antwort streamen |
| Klassifikation, Extraktion, Routing | Durchsatz und Preis pro Aufruf | Haiku 5.5, Mistral Small 4, GPT-6 Luna; Batch, wo niemand wartet |
| Coding-Agent, interaktive Analyse | Qualität, dann Ausgabegeschwindigkeit | Opus 5.5 oder Sonnet 5.5 bei hohem Aufwand; Fast Mode, wo ein Entwickler wartet |
| Nächtliche Berichte, schwere Analysen | Nur Qualität | Opus 5.5 oder GPT-6 Astra bei sehr hohem oder maximalem Aufwand, über die Batch API (halber Preis) |
Drei technische Gewohnheiten zählen mehr als die Modellwahl. Streamen Sie jede Antwort, die ein Nutzer sieht, damit die ersten Wörter erscheinen, während der Rest geschrieben wird. Cachen Sie lange System-Prompts und Dokumente (siehe Prompt Caching), was die Time to First Token bei langen Kontexten senkt. Und routen Sie Anfragen: Ein kleines, schnelles Modell beantwortet die einfache Mehrheit und gibt schwere Fälle an ein Frontier-Modell weiter (siehe KI-Modell-Routing).
Was das für Unternehmen in Kroatien und der DACH-Region bedeutet
Die meisten europäischen Unternehmen rufen Modell-Endpunkte in den USA auf, also überquert jede Anfrage den Atlantik, und EU-Datenresidenz-Optionen können eigene Preis- und Kapazitätsgrenzen mitbringen. Umso wichtiger sind die Entscheidungen auf Modellseite: Ein Assistent, der standardmäßig mit maximalem Aufwand arbeitet, wirkt kaputt, egal wie klug er ist. Messen Sie die Latenz von Ihren eigenen Servern mit Ihren eigenen Prompts, legen Sie den Reasoning-Aufwand pro Aufgabe fest und entscheiden Sie, wo sich bezahlte Geschwindigkeit lohnt. Ein Support-Bot in Wien oder München braucht ein schnelles erstes Token; ein monatlicher Risikobericht darf zehn Minuten nachdenken.
Häufige Fragen
Welches KI-Modell ist 2026 am schnellsten?
Im Benchmark von Artificial Analysis (Oktober 2026) führt Gemini 3.5 Flash-Lite mit 414 Ausgabe-Tokens pro Sekunde. Unter den Modellen von Anthropic, OpenAI und Mistral sind Claude Haiku 5.5 (173 bis 234 Tokens/s je nach Aufwand), Mistral Small 4 (178) und Mistral Medium 3.5 (162) am schnellsten. Frontier-Modelle sind langsamer: Claude Opus 5.5 schreibt 80 bis 96 Tokens/s, GPT-6.1 Sol 51 bis 59.
Was ist der Unterschied zwischen Time to First Token und Ausgabegeschwindigkeit?
Time to First Token ist die Wartezeit, bis überhaupt etwas erscheint; bei Reasoning-Modellen ist die nützliche Größe die Zeit bis zum ersten Antwort-Token, die das Nachdenken einschließt. Die Ausgabegeschwindigkeit ist die Zahl der Tokens pro Sekunde danach. Ein Chat wirkt reaktionsschnell, wenn das erste Token schnell kommt; ein langer Bericht ist früher fertig, wenn die Ausgabegeschwindigkeit hoch ist.
Wie stark bremst der Reasoning-Aufwand ein Modell?
Sehr stark. Claude Opus 5.5 braucht bis zum ersten Antwort-Token etwa 6 Sekunden bei niedrigem Aufwand, 16 bei mittlerem, 30 bei hohem, 110 bei sehr hohem und 653 bei maximalem. GPT-6.1 Sol geht von 2 auf 236 Sekunden. Der Intelligenzwert steigt über diese Spanne um 10 bis 16 Punkte, der größte Teil des Gewinns kommt aber in den ersten Stufen.
Lohnt sich der Claude Fast Mode?
Fast Mode betreibt Claude Opus 5.5 mit bis zu 2,5-facher Ausgabegeschwindigkeit zum doppelten Preis (8 USD Input und 40 USD Output pro Million Tokens statt 4 und 20). Er beschleunigt die Ausgabe, nicht die Time to First Token. Er lohnt sich, wo ein Mensch auf eine lange Antwort wartet, etwa bei Coding-Agenten und interaktiver Analyse, nicht bei Hintergrundjobs, bei denen die Batch API stattdessen den Preis halbiert.
Ist Ihre KI-Anwendung zu langsam?
Wir messen die Latenz in Ihrer realen Umgebung, wählen Modelle und Reasoning-Aufwand pro Aufgabe und richten Streaming, Caching und Routing ein, damit Nutzer schnell Antworten bekommen, ohne dass Sie zu viel bezahlen. Als Claude Certified Architect aus Zagreb arbeiten wir mit Unternehmen in Kroatien und der DACH-Region.
Mit einem KI-Berater sprechen