LLM kao sudac 2026: kako je AI naučio ocjenjivati vlastitu zadaću

Svaki tim koji lansira nešto izgrađeno na jezičnom modelu udari u isti zid: kako znate da je izlaz zaista dobar? Sto odgovora možete pročitati ručno; sto tisuća ne možete. U 2026. standardni je odgovor LLM kao sudac — korištenje snažnog modela poput Claudea ili GPT-a da ocijeni odgovore drugog modela prema rubrici, brzinom i cijenom koju nijedan ljudski panel ne može dostići. Dobro izvedeno, to je najbliže što AI timovi imaju automatiziranom testiranju. Loše izvedeno, tiho nagrađuje pogrešne stvari. Ovo je vodič jednostavnim jezikom o tome kako to radi, koliko mu možete vjerovati i kako izgraditi evaluaciju koja izdrži.

Zašto AI ne možete lansirati bez evaluacija

Klasični softver ima jedinične testove: za ovaj ulaz, potvrdi točno ovaj izlaz. Jezični modeli ruše taj model. "Točan" odgovor na "sažmi ovaj ugovor" nije jedan niz — nego bilo koji od tisuću iskaza koji su točni, potpuni i jasni. Ne možete potvrditi jednakost, pa morate potvrditi kvalitetu. To radi evaluacija, ili "eval": ocjenjuje zadovoljava li izlaz standard, na reprezentativnom skupu slučajeva.

Ljudsko ocjenjivanje je zlatni standard, ali je sporo, skupo i nekonzistentno — dva ocjenjivača često se ne slažu, a isti se ocjenjivač ne slaže sam sa sobom lošeg poslijepodneva. LLM kao sudac uzima rubriku koju bi čovjek koristio i predaje je sposobnom modelu: "Evo pitanja, evo odgovora, evo kako izgleda dobro — ocijeni od 1 do 5 i objasni zašto." Odjednom svaku promjenu svog prompta, modela ili RAG cjevovoda možete ocijeniti u minutama, na tisućama slučajeva, za nekoliko eura.

Tri načina na koja model može suditi

"LLM kao sudac" nije jedna tehnika nego tri, svaka prikladna za drugo pitanje:

• Ocjenjivanje jednog odgovora — sudac ocjenjuje jedan odgovor prema rubrici ("ocijeni činjeničnu točnost 1–5"). Najbolje za praćenje kvalitete kroz vrijeme na apsolutnoj skali.
• Usporedba u parovima — sudac vidi dva odgovora na isto pitanje i bira bolji. Ovo je najpouzdaniji način, jer je odluka "A je bolji od B" lakša i stabilnija od dodjeljivanja apsolutnog broja. Tako se vode ljestvice modela i A/B testovi promptova.
• Ocjenjivanje prema referenci — sudac uspoređuje odgovor s poznatim ispravnim referentnim odgovorom ili skupom traženih činjenica. Najbolje kad zaista postoji točan odgovor, poput ekstrakcije ili odgovaranja na pitanja iznad vlastitih dokumenata.

Pristranosti koje svaki sudac ima — i kako ih obezvrijediti

Model-sudac nije neutralno proročište. Ima dosljedne, dobro dokumentirane pristranosti, i ako ih ne ispravite vaše ocjene mjere pogrešnu stvar:

Koliko mu zapravo možete vjerovati?

Iskren odgovor: dovoljno da donosite odluke, ne dovoljno da potpuno izostavite ljude. Dobar sudac koji se s ljudima slaže 85% vremena zaista je koristan — ali tih 15% nije nasumičan šum, nego se grupira na teškim, dvosmislenim slučajevima koji najviše znače. Zato najbolja praksa 2026. nije "sudac ili ljudi" nego ljestve: model-sudac ocjenjuje sve na svaku promjenu, a ljudi povremeno provjeravaju uzorak sučevih vlastitih presuda kako bi potvrdili da još prati stvarnost.

To odražava disciplinu dobre evaluacije i promatranja agenata posvuda drugdje: automatiziraj obujam, uzorkom provjeri automatizaciju. Kad sudac i vaši ljudski revizori počnu odudarati, to je signal da preispitate rubriku — a ne da slijepo vjerujete sucu jer je brz.

Izgradnja cjevovoda evaluacije koji izdrži

Razlika između igračke i pouzdane evaluacije je proces, ne domišljatost. Timovi koji dobiju stvarnu vrijednost slijede dosljedan recept:

• Prikupite stvaran testni skup. Nekoliko stotina slučajeva iz stvarne upotrebe — uključujući neuredne rubne slučajeve — pobjeđuje deset tisuća sintetičkih. Taj skup je vaša istina.
• Napišite rubriku prvo s ljudima. Neka ljudi ocijene uzorak ručno, raspravite o neslaganjima, i pretvorite razrješenje u eksplicitne kriterije. Tek tada je predajte modelu.
• Validirajte suca prema ljudima. Izmjerite slaganje suca s vašim ljudskim ocjenama na tom uzorku. Ako nije dovoljno visoko, popravite rubriku prije nego povjerujete ijednoj automatskoj ocjeni.
• Za odluke preferirajte parove. Kad birate između dva prompta ili modela, usporedite izravno uz zamjenu redoslijeda umjesto da vjerujete apsolutnim ocjenama.
• Koristite drugi model kao suca. Ocijenite izlaz jedne obitelji drugom kako biste umanjili sklonost sebi.
• Ponovno revidirajte po rasporedu. Modeli, promptovi i podaci se mijenjaju. Sudac validiran u proljeće do jeseni može tiho zastarjeti.

Gdje se ovo isplati u poslovanju

LLM kao sudac nije akademska znatiželja — to je ono što tvrtki omogućuje da svoj AI sustav mijenja sa sigurnošću. Prije nego uvedete novi ili jeftiniji model, ponovno pokrenete evaluaciju i vidite je li kvaliteta izdržala. Prije nego lansirate promjenu prompta u bota za podršku, ocijenite ga prema prošlotjednoj osnovici. Kad se klijent požali na loš odgovor, dodate taj slučaj u testni skup kako se nikad ne bi neopaženo vratio. Ukratko, to je regresijsko testiranje za sustave koji nemaju determinističke izlaze — a za svaku tvrtku koja pokreće AI u produkciji, to je razlika između svjesnog napretka i nadanja najboljem.

Zaključak

Korištenje AI-ja za evaluaciju AI-ja zvuči kružno, i u pogrešnim rukama jest: nejasan sudac bez rubrike samo pere vlastite pristranosti u broj kojem onda vjerujete. Ali ispravno izgrađeno — stvaran testni skup, ljudski validirana rubrika, usporedba u parovima, drugi model kao sudac i povremene ljudske revizije — LLM kao sudac najpraktičniji je alat za kvalitetu koji je područje proizvelo. Pretvara "mislimo da je nova verzija bolja" u "izmjerili smo to, na dvije tisuće slučajeva, jutros". Upravo je to ona dosadna, ponovljiva strogost koja razdvaja AI projekte koji se gomilaju od onih koji zastanu.