Text-to-SQL und KI-Datenagenten 2026: BIRD- und Spider-2.0-Benchmarks für Claude, GPT und offene Modelle

„Zeig mir den Umsatz nach Region im letzten Quartal, ohne Retouren.“ Jedes Unternehmen möchte, dass Führungskräfte solche Fragen in normaler Sprache an die Datenbank stellen können, und Text-to-SQL gehört zu den meistgefragten KI-Anwendungsfällen, die wir in Kroatien und im DACH-Raum sehen. Die öffentlichen Benchmarks zeigen inzwischen klar, wie weit das trägt: Das beste System auf dem BIRD-Benchmark beantwortet 83,4 % der Fragen richtig, menschliche Data Engineers 93 %, und bei realistischen Unternehmensaufgaben stiegen die führenden Agenten in zwei Jahren von 17 % auf 97 %. Dieser Artikel wertet die Ranglisten zum 29. Oktober 2026 aus und leitet Entscheidungen daraus ab.

Die Benchmarks, auf die es ankommt: BIRD und Spider 2.0

Ältere Tests wie Spider 1.0 nutzten kleine, saubere Schemata und gelten als praktisch gelöst. Heute bestimmen zwei Benchmark-Familien, wie die Branche Text-to-SQL misst. BIRD (Universität Hongkong und Alibaba, 2023) verwendet 95 reale Datenbanken mit „schmutzigen“ Werten und misst die Ausführungsgenauigkeit: Die erzeugte Abfrage muss exakt die richtigen Zeilen liefern. Spider 2.0 (ICLR 2025) geht weiter, mit 632 Unternehmens-Workflows auf Snowflake, BigQuery und dbt-Projekten, Schemata mit Hunderten oder Tausenden Spalten, verschachtelten Daten und mehrstufigen Transformationen.

BIRD: von 40 % auf 83 % in drei Jahren, noch 10 Punkte hinter Menschen

Beim Start von BIRD 2023 erreichte ChatGPT 40,08 % und GPT-4 54,89 % auf dem Testset. Bis September 2025 kam Agentar-Scale-SQL von Ant Group auf 81,67 %, und am 22. Oktober 2026 übernahm AskData von AT&T mit 83,40 % die Spitze. Der Fortschritt hat sich verlangsamt: Die Spitze bewegte sich in dreizehn Monaten um weniger als zwei Punkte, während Data Engineers und Datenbank-Studierende 92,96 % erreichen.

Die Top 10 werden von Unternehmen dominiert, die Text-to-SQL auf eigenen Datenplattformen betreiben: Telekommunikation (AT&T, China Telecom), chinesische Tech-Konzerne (Huawei, Tencent, Ant Group, Xiaomi) und Banken (Sber; JPMorganChase in der Einzelmodell-Wertung). Die meisten Einträge sind kein einzelnes Modell, sondern eine Pipeline: Schema-Retrieval, mehrere Kandidatenabfragen, Ausführung und ein Selektor, der die Antwort wählt.

Spider 2.0: Unternehmens-SQL von 17 % auf 97 %

Spider 2.0 liegt näher an einem echten Data Warehouse. Zum Start Ende 2024 löste das beste System, o1-preview, 17,1 % der Aufgaben, GPT-4o 10,1 %. Klassische akademische Text-to-SQL-Methoden brachen völlig ein: DIN-SQL mit GPT-4o erzielte 0,00 % auf Spider 2.0-Snow, CHESS 1,28 %. Zwei Jahre später führen in allen Wertungen Agenten, die das Warehouse erkunden, Testabfragen ausführen und ihr eigenes SQL reparieren.

Der Agent zählt mehr als das Modell

Die Ranglisten erlauben einen seltenen kontrollierten Vergleich. Mit demselben offenen Spider-Agent-Framework schneiden neuere Modelle besser ab: GPT-4o 12,98 %, Claude 3.5 Sonnet 15,54 %, Claude 3.7 Sonnet 24,50 %, Claude 4 Sonnet 25,78 % auf Spider 2.0-Snow.

Dasselbe Modell kommt in einem besseren System aber viel weiter. Claude 4 Sonnet erreicht 25,78 % im Spider-Agent, 38,39 % im Chat2DB-Agent und 61,43 % im WindAgent. Claude Sonnet 4.5 steigt von 79,89 % (LingXi Agent) auf 90,49 % (Prism Swarm mit Deepthink von Paytm). Bei GPT-4o reicht die Spanne von 0,00 % bis 12,98 %. Das Engineering um das Modell, also Schema-Linking, Erkundungsabfragen, Selbstkorrektur und Abstimmung über Antworten, ist das 2- bis 3-Fache des Ergebnisses wert.

Claude, GPT, Mistral und offene Modelle in den Ranglisten

Anthropic-Modelle sind die am häufigsten genannten Modelle in den Spitzensystemen. Auf Spider 2.0-Snow treibt Claude Sonnet 4.5 drei Einträge über 79 % an, und QUVI-3 mit Claude Opus 4.6 erreicht 86,28 %. Auf Spider 2.0-Lite nutzen die besten Einträge mit genanntem Modell Claude Opus 4.5 (QUVI-2.3, 65,81 %), ein einfacher Claude-Code-Agent mit Sonnet erreicht 61,2 %. Auf BIRD Mini-Dev läuft der Spitzeneintrag schemagate mit Claude Opus 5.5.

OpenAI-Modelle führen, wenn Code-Agenten dbt-Projekte bearbeiten: Die besten DBT-Einträge mit genanntem Modell nutzen GPT-5 (41,18 %) und GPT-5.4 (39,71 %), und o3 erreicht mit ReFoRCE 62,89 % auf Snow. Open-Weight-Modelle sind konkurrenzfähig: GLM 5.2 treibt den Lite-Spitzenreiter an, gpt-oss-120b erzielt 65,45 % auf Snow und DeepSeek V3.2 70,38 %. In den Spider-2.0-Ranglisten taucht kein Mistral-Modell auf; für Mistral (auch für die in der EU gehostete Option, nach der unsere Kunden oft fragen) brauchen Sie daher eine eigene Evaluierung.

Ihr SQL-Dialekt kostet Genauigkeit

Die meiste Forschung zielt auf SQLite, Unternehmen nutzen aber PostgreSQL, MySQL, SQL Server oder Oracle. BIRD Mini-Dev misst dieselben 500 Fragen in drei Dialekten. Das führende System, schemagate mit Claude Opus 5.5, erreicht 81,0 % in SQLite, aber 72,4 % in MySQL und 72,6 % in PostgreSQL. Der zweite Eintrag, Ontology2SQL, fällt von 70,2 % auf 65,8 %. Rechnen Sie auf Ihrer Produktionsdatenbank mit 5 bis 9 Punkten weniger als bei einem veröffentlichten SQLite-Wert.

Vom Benchmark in die Produktion: eine Checkliste

Ihre eigenen Datenbanken sind selten so gut dokumentiert wie ein Benchmark. In einer Studie von data.world aus dem Jahr 2023 auf einem Versicherungs-Datenmodell beantwortete GPT-4 auf dem rohen SQL-Schema 16,7 % der Geschäftsfragen richtig und 54,2 %, wenn dieselben Daten über einen Knowledge Graph beschrieben waren. Kontext schlägt Modellgröße, deshalb ist eine semantische Schicht der erste Schritt und kein Extra. (Mehr dazu in unserem Artikel über Context Engineering.)

• Zuerst die semantische Schicht. Fachliche Namen, Kennzahldefinitionen (ist „Umsatz“ nach Retouren?), Join-Pfade und Beispielabfragen. Hier entsteht der größte Teil der Genauigkeit.
• Ein Agent statt eines einzelnen Prompts. Lassen Sie das System Beispielzeilen ansehen, Testabfragen ausführen und Fehler reparieren, wie es die Spitzeneinträge in Spider 2.0 tun. Werkzeuge wie das Model Context Protocol verbinden Claude kontrolliert mit Datenbanken.
• Nur lesend und begrenzt. Eine eigene Datenbankrolle mit Leserechten nur auf freigegebene Views, Zeilenlimits, Statement-Timeouts und eine Kostenprüfung (EXPLAIN) vor der Ausführung.
• SQL und Annahmen anzeigen. Nutzer sollten sehen, welche Tabellen, Filter und Definitionen verwendet wurden, und das System sollte bei mehrdeutigen Fragen nachfragen.
• Eigenes Evaluierungsset aufbauen. Nehmen Sie 100 bis 200 echte Fragen mit geprüften Antworten aus Abfrage-Logs und BI-Berichten und messen Sie jede Modell- oder Prompt-Änderung daran. Siehe unseren Leitfaden zur KI-Evaluierung.
• DSGVO beachten. Personenbezogene Daten in Abfrageergebnissen gehen an den Modellanbieter. Nutzen Sie Views, die personenbezogene Felder maskieren, und eine Auftragsverarbeitung in der EU (DSGVO und generative KI).

Was das für Unternehmen in Kroatien und im DACH-Raum bedeutet

Für ein mittelständisches Unternehmen mit ERP, CRM und einigen Reporting-Datenbanken ist Text-to-SQL heute realistisch für klar definierte Reporting-Fragen auf kuratierten Views, mit einer Genauigkeit, die die Benchmarks vor eigener Optimierung im Bereich von 70 bis 80 % verorten. Für offene, mehrdeutige Fragen ersetzt es den Analysten noch nicht. Deutsche und kroatische Spaltennamen und Fragen erhöhen die Schwierigkeit zusätzlich (siehe unsere Messung der mehrsprachigen Modellleistung), daher sollte die semantische Schicht lokale Begriffe explizit abbilden. Ein sinnvoller Start ist eine Abteilung, 20 Kernkennzahlen und ein Evaluierungsset; ausgeweitet wird, sobald die gemessene Genauigkeit auf Ihren eigenen Fragen über 90 % liegt.

Häufige Fragen

Wie genau ist Text-to-SQL im Jahr 2026?

Auf dem BIRD-Benchmark beantwortet das beste System 83,4 % der Fragen richtig (Oktober 2026), gegenüber 92,96 % für menschliche Data Engineers. Bei den Unternehmensaufgaben von Spider 2.0 liegen die Bestwerte bei 96,7 % auf Snowflake, 76,2 % im schwierigeren Lite-Setting und 65,6 % bei dbt-Projekten. Auf Ihren eigenen Daten hängt die Genauigkeit vor allem von Schema-Dokumentation und Evaluierung ab.

Welches KI-Modell ist am besten für Text-to-SQL?

Die besten Ergebnisse liefern Agentensysteme, nicht einzelne Modelle. Claude Sonnet 4.5 und Opus-Modelle treiben mehrere Spitzeneinträge auf Spider 2.0 und BIRD Mini-Dev an, Gemini 3 Pro den besten Snow-Eintrag mit genanntem Modell, GPT-5 führt unter den genannten Modellen bei dbt-Aufgaben, und offene Modelle wie GLM 5.2 und DeepSeek V3.2 sind konkurrenzfähig. Dasselbe Modell kann in einem besseren Agenten-Framework das 2- bis 3-Fache erreichen.

Was ist der BIRD-Benchmark?

BIRD ist ein Text-to-SQL-Benchmark aus dem Jahr 2023 mit 95 realen Datenbanken und schmutzigen Werten. Er misst die Ausführungsgenauigkeit: ob das erzeugte SQL exakt das richtige Ergebnis liefert. Menschliche Experten erreichen 92,96 %; die Spitze der Rangliste lag am 29. Oktober 2026 bei 83,40 %.

Ist es sicher, ein LLM unsere Produktionsdatenbank abfragen zu lassen?

Nur mit Schutzmaßnahmen: eine nur lesende Datenbankrolle, beschränkt auf freigegebene Views, Limits für Zeilen, Laufzeit und Kosten, Maskierung personenbezogener Daten, Protokollierung jeder Abfrage und Anzeige des erzeugten SQL für den Nutzer. Viele Unternehmen beginnen auf einem Reporting-Replikat statt auf der Transaktionsdatenbank.