Text-to-SQL i AI agenti za podatke 2026.: benchmarkovi BIRD i Spider 2.0 za Claude, GPT i otvorene modele

„Pokaži mi prihod po regijama za prošli kvartal, bez povrata.” Svaka tvrtka želi da menadžeri ovakva pitanja postavljaju bazi podataka običnim jezikom, a text-to-SQL jedan je od najtraženijih AI slučajeva upotrebe koje viđamo u Hrvatskoj i regiji DACH. Javni benchmarkovi danas jasno pokazuju koliko to funkcionira: najbolji sustav na benchmarku BIRD točno odgovara na 83,4 % pitanja, ljudski podatkovni inženjeri na 93 %, a na realnim poslovnim zadacima vodeći agenti skočili su sa 17 % na 97 % u dvije godine. U ovom članku čitamo ljestvice na dan 29. listopada 2026. i pretvaramo ih u odluke.

Benchmarkovi koji su važni: BIRD i Spider 2.0

Stariji testovi poput Spidera 1.0 koristili su male, čiste sheme i praktički su riješeni. Danas dvije obitelji benchmarkova određuju kako industrija mjeri text-to-SQL. BIRD (Sveučilište u Hong Kongu i Alibaba, 2023.) koristi 95 stvarnih baza s „prljavim” vrijednostima i mjeri „točnost izvršavanja”: generirani upit mora vratiti točno ispravne retke. Spider 2.0 (ICLR 2025) ide dalje s 632 poslovna zadatka na Snowflakeu, BigQueryju i dbt projektima, sa shemama od stotina ili tisuća stupaca, ugniježđenim podacima i transformacijama u više koraka.

BIRD: od 40 % do 83 % u tri godine, još 10 bodova iza ljudi

Kad je BIRD pokrenut 2023., ChatGPT je postigao 40,08 %, a GPT-4 54,89 % na testnom skupu. Do rujna 2025. Agentar-Scale-SQL tvrtke Ant Group postigao je 81,67 %, a 22. listopada 2026. AskData tvrtke AT&T preuzeo je prvo mjesto s 83,40 %. Napredak je usporio: vrh se u trinaest mjeseci pomaknuo za manje od dva boda, dok podatkovni inženjeri i studenti baza podataka postižu 92,96 %.

U prvih deset dominiraju tvrtke koje text-to-SQL koriste na vlastitim podatkovnim platformama: telekomi (AT&T, China Telecom), kineske tehnološke grupe (Huawei, Tencent, Ant Group, Xiaomi) i banke (Sber; JPMorganChase u kategoriji pojedinačnih modela). Većina prijava nije jedan model nego cjevovod: pronalazak relevantnog dijela sheme, više kandidatskih upita, izvršavanje i selektor koji bira odgovor.

Spider 2.0: poslovni SQL od 17 % do 97 %

Spider 2.0 bliži je stvarnom skladištu podataka. Na lansiranju krajem 2024. najbolji sustav, o1-preview, riješio je 17,1 % zadataka, a GPT-4o 10,1 %. Klasične akademske text-to-SQL metode potpuno su se urušile: DIN-SQL s GPT-4o postigao je 0,00 % na Spider 2.0-Snow, CHESS 1,28 %. Dvije godine kasnije sve kategorije predvode agenti koji istražuju skladište, izvršavaju probne upite i sami popravljaju svoj SQL.

Agent je važniji od modela

Ljestvice omogućuju rijetku kontroliranu usporedbu. S istim otvorenim okvirom Spider-Agent noviji modeli rade bolje: GPT-4o 12,98 %, Claude 3.5 Sonnet 15,54 %, Claude 3.7 Sonnet 24,50 %, Claude 4 Sonnet 25,78 % na Spider 2.0-Snow.

Ali isti model u boljem sustavu ide mnogo dalje. Claude 4 Sonnet postiže 25,78 % u Spider-Agentu, 38,39 % u Chat2DB-Agentu i 61,43 % u WindAgentu. Claude Sonnet 4.5 ide od 79,89 % (LingXi Agent) do 90,49 % (Prism Swarm s Deepthinkom tvrtke Paytm). Kod GPT-4o raspon je od 0,00 % do 12,98 %. Inženjering oko modela, dakle povezivanje sa shemom, istraživački upiti, samoispravljanje i glasanje o odgovoru, vrijedi 2–3× rezultata.

Claude, GPT, Mistral i otvoreni modeli na ljestvicama

Anthropicovi modeli najčešće su imenovani modeli u vrhunskim sustavima. Na Spider 2.0-Snow Claude Sonnet 4.5 pokreće tri prijave iznad 79 %, a QUVI-3 s Claude Opus 4.6 doseže 86,28 %. Na Spider 2.0-Lite najbolje prijave s imenovanim modelom koriste Claude Opus 4.5 (QUVI-2.3, 65,81 %), a obični Claude Code agent sa Sonnetom postiže 61,2 %. Na BIRD mini-dev vodeća prijava, schemagate, radi na Claude Opus 5.5.

OpenAI modeli vode kad agenti za kod uređuju dbt projekte: najbolje DBT prijave s imenovanim modelom koriste GPT-5 (41,18 %) i GPT-5.4 (39,71 %), a o3 doseže 62,89 % na Snowu s ReFoRCE-om. Modeli otvorenih težina su konkurentni: GLM 5.2 pokreće vodeći sustav na Liteu, gpt-oss-120b postiže 65,45 % na Snowu, a DeepSeek V3.2 70,38 %. Nijedan Mistralov model nije na ljestvicama Spider 2.0, pa je za Mistral (uključujući opciju s hostingom u EU-u za koju nas klijenti često pitaju) potrebna vlastita evaluacija.

Vaš SQL dijalekt košta točnosti

Većina istraživanja cilja SQLite, a tvrtke koriste PostgreSQL, MySQL, SQL Server ili Oracle. BIRD mini-dev mjeri istih 500 pitanja u tri dijalekta. Vodeći sustav, schemagate s Claude Opus 5.5, postiže 81,0 % u SQLiteu, ali 72,4 % u MySQL-u i 72,6 % u PostgreSQL-u. Druga prijava, Ontology2SQL, pada sa 70,2 % na 65,8 %. Na vašoj produkcijskoj bazi očekujte 5–9 bodova manje od objavljenog SQLite rezultata.

Od benchmarka do produkcije: kontrolna lista

Vaše baze rijetko su dokumentirane kao benchmark. U studiji tvrtke data.world iz 2023. na podatkovnom modelu osiguravatelja GPT-4 je na sirovoj SQL shemi točno odgovorio na 16,7 % poslovnih pitanja, a na 54,2 % kad su isti podaci bili opisani grafom znanja. Kontekst pobjeđuje veličinu modela, zato je semantički sloj prvi korak, a ne dodatak. (Više u našem članku o kontekstnom inženjeringu.)

• Najprije izgradite semantički sloj. Poslovni nazivi, definicije metrika (je li „prihod” bez povrata?), putanje spajanja tablica i primjeri upita. Odavde dolazi najveći dio točnosti.
• Koristite agenta, a ne jedan prompt. Neka sustav pogleda primjere redaka, izvrši probne upite i popravi greške, kao što rade vodeći sustavi na Spideru 2.0. Alati poput Model Context Protocola povezuju Claude s bazama na kontroliran način.
• Samo čitanje i ograničenja. Posebna uloga u bazi s pravom čitanja samo nad odobrenim pogledima, ograničenje broja redaka, vremensko ograničenje upita i provjera troška (EXPLAIN) prije izvršavanja.
• Prikažite SQL i pretpostavke. Korisnici trebaju vidjeti koje su tablice, filtri i definicije korišteni, a sustav treba pitati natrag kad je pitanje dvosmisleno.
• Izgradite vlastiti evaluacijski skup. Uzmite 100–200 stvarnih pitanja s provjerenim odgovorima iz logova upita i BI izvještaja i mjerite svaku promjenu modela ili prompta. Pogledajte naš vodič o evaluaciji AI-ja.
• Pazite na GDPR. Osobni podaci u rezultatima upita odlaze pružatelju modela. Koristite poglede koji maskiraju osobna polja i ugovornu obradu podataka u EU-u (GDPR i generativni AI).

Što to znači za tvrtke u Hrvatskoj i regiji DACH

Za srednju tvrtku s ERP-om, CRM-om i nekoliko izvještajnih baza text-to-SQL je danas realan za dobro definirana izvještajna pitanja nad pripremljenim pogledima, uz točnost koju benchmarkovi smještaju u raspon 70–80 % prije vlastitog podešavanja. Još nije zamjena za analitičara kod otvorenih, dvosmislenih pitanja. Hrvatski i njemački nazivi stupaca i pitanja dodaju još jednu razinu težine (pogledajte naše mjerenje višejezičnih performansi modela), pa semantički sloj treba eksplicitno mapirati lokalne pojmove. Razuman početak je jedan odjel, 20 ključnih metrika i evaluacijski skup; širite se kad izmjerena točnost na vašim pitanjima prijeđe 90 %.

Česta pitanja

Koliko je text-to-SQL točan u 2026.?

Na benchmarku BIRD najbolji sustav točno odgovara na 83,4 % pitanja (listopad 2026.), u usporedbi s 92,96 % za ljudske podatkovne inženjere. Na poslovnim zadacima Spider 2.0 najbolji rezultati su 96,7 % na Snowflakeu, 76,2 % na težoj postavci Lite i 65,6 % na dbt projektima. Na vašim podacima točnost najviše ovisi o dokumentaciji sheme i evaluaciji.

Koji je AI model najbolji za text-to-SQL?

Najbolji rezultati dolaze od agentnih sustava, a ne pojedinačnih modela. Claude Sonnet 4.5 i modeli Opus pokreću nekoliko vodećih prijava na Spideru 2.0 i BIRD mini-dev, Gemini 3 Pro pokreće najbolju prijavu s imenovanim modelom na Snowu, GPT-5 vodi među imenovanim modelima na dbt zadacima, a otvoreni modeli poput GLM 5.2 i DeepSeek V3.2 su konkurentni. Isti model može postići 2–3× bolji rezultat u boljem agentnom okviru.

Što je benchmark BIRD?

BIRD je text-to-SQL benchmark iz 2023. s 95 stvarnih baza i prljavim vrijednostima. Mjeri točnost izvršavanja: vraća li generirani SQL točno ispravan rezultat. Ljudski stručnjaci postižu 92,96 %; vrh ljestvice 29. listopada 2026. bio je 83,40 %.

Je li sigurno dopustiti LLM-u upite nad produkcijskom bazom?

Samo uz zaštitne mjere: uloga u bazi samo za čitanje ograničena na odobrene poglede, ograničenja redaka, vremena i troška, maskiranje osobnih podataka, bilježenje svakog upita i prikaz generiranog SQL-a korisniku. Mnoge tvrtke počinju na izvještajnoj replici, a ne na transakcijskoj bazi.