Evaluacija, testiranje i monitoring AI agenata 2026: kako vjerovati agentu u produkciji

Izgraditi AI agenta nikad nije bilo lakše. Spojiti model na nekoliko alata, zadati mu cilj i gledati kako radi — to je projekt za vikend u 2026. Teški dio, onaj koji razlikuje viralni demo od sustava na kojem tvrtka doista posluje, odgovara na mnogo tiše pitanje: radi li i dalje? Nakon što ste promijenili prompt. Nakon što je pružatelj modela objavio nadogradnju. Nakon što je netko prošli utorak dodao novi alat. Timovi koji ove godine isporučuju pouzdane agente nisu najbolji pisci promptova. To su oni koji su izgradili disciplinu da mjere, prate i nadziru što njihovi agenti stvarno rade.

Jaz između demoa i produkcije

Demo agenta uspije na jednom pažljivo odabranom ulazu. Produkcija istom agentu svaki dan baca tisuće neurednih, neprijateljskih, rubnih ulaza — i za razliku od klasičnog softvera, isti ulaz može dvaput dati različit izlaz. Ta nedeterminističnost je cijeli problem. Ne možete napisati izlaz === očekivano i to nazvati testom. Promjena koja agenta poboljša na slučaju koji ste pogledali može ga tiho pogoršati na deset koje niste. Bez mjerenja letite naslijepo i to zovete pouzdanošću.

Gornji brojevi su okvirni, izvučeni iz onoga što vidimo kroz projekte, a ne iz jedne studije — no obrazac je univerzalan. Jaz između "radilo je kad sam probao" i "radi" upravo je jaz koji evaluacija i observability zatvaraju.

Dvije discipline, ne jedna

Ljudi miješaju "evaluacije" i "observability", ali one odgovaraju na različita pitanja u različito vrijeme. Evaluacija je offline i prije isporuke: za fiksni skup testnih slučajeva, koliko je dobra ova verzija agenta? Observability je online i nakon isporuke: što agent stvarno radi upravo sada, na pravom prometu, i gdje griješi? Trebate oboje. Evaluacije vas spriječe da isporučite regresiju; observability vam govori što sljedeće dodati u skup za evaluaciju.

Kako izgraditi skup za evaluaciju koji vas stvarno štiti

1. Krenite od stvarnih grešaka, ne izmišljenih

Najbolji slučajevi za evaluaciju dolaze iz produkcije, ne iz brainstorminga. Svaki put kad agent nešto pogriješi — loš poziv alata, izmišljena brojka, odbijeni zahtjev koji je trebao obaviti — taj transkript postaje trajni testni slučaj. Kroz tjedne vaš skup za evaluaciju prestaje biti nagađanje o tome što bi moglo puknuti i postaje precizna karta onoga što je puklo. Zato observability hrani evaluaciju: tragovi koje danas snimite regresijski su testovi koje sutra pokrećete.

2. Ocjenjujte putanju, ne samo odgovor

Kod agenata je konačni odgovor tek pola priče. Agent može doći do ispravnog zaključka bezobzirnim putem — pozivajući skupi alat deset puta, ignorirajući grešku, biranjem rute koja se neće skalirati. Dobre evaluacije agenata ocjenjuju putanju: je li odabrao prave alate, razumnim redoslijedom, s ispravnim argumentima, oporavljajući se elegantno od grešaka? Isti princip koji obrađujemo u inženjeringu konteksta za agente vrijedi i ovdje — kako je agent stigao važno je koliko i gdje je stigao.

3. Koristite LLM-as-judge — oprezno

Većina izlaza agenta je otvoreni tekst bez jednog ispravnog niza, pa ga ne možete ocijeniti provjerom jednakosti. Pragmatičan odgovor u 2026. je LLM-as-judge: zaseban model ocjenjuje svaki izlaz prema jasnom kriteriju — je li utemeljen, je li potpun, je li slijedio pravila. Skalira na tisuće slučajeva u minutama. No ocjenjivač je i sam model i treba vlastitu validaciju: uzorkujte njegove ocjene, usporedite ih s ljudskom prosudbom na podskupu i kalibrirajte kriterij dok se ne slože. Nekalibrirani ocjenjivač je samo samouvjereno nagađanje u bijeloj kuti.

Observability: pogled unutar crne kutije

Kad je agent u pogonu, morate vidjeti svaki korak koji poduzima — ne samo ulaz i izlaz, nego cijeli trag (trace): svaki poziv modela, svaki poziv alata s argumentima i rezultatom, potrošene tokene, latenciju, ponavljanja. Kad nešto pođe po zlu u 2 ujutro, trag je razlika između popravka od pet minuta i nagađanja od pet sati. Moderni agentski slojevi emitiraju ovu telemetriju u standardnim formatima pa teče u iste observability alate koje vaši inženjeri već koriste.

Četiri signala vrijedi pratiti od prvog dana:

• Otklizavanje kvalitete — kontinuirano provlačite dio prometa uživo kroz ocjenjivač. Spor pad ocjena rano je upozorenje da je nadogradnja modela, pomak u podacima ili izmjena prompta nešto pokvarila.
• Trošak i potrošnja tokena — agent koji počne petljati ili prekomjerno zvati alate pojavi se kao skok u tokenima po zadatku mnogo prije nego se itko požali. To je često prvi znak pokvarene putanje.
• Latencija i greške alata — nestabilan alat ili spor API degradira cijelog agenta. Vremenska mjerenja na razini traga govore točno koji korak popraviti.
• Ljudske eskalacije i palac dolje — svaki put kad osoba nadglasa ili ispravi agenta, to je označeni slučaj greške besplatno predan vama. Uhvatite ga i usmjerite u skup za evaluaciju.

Regresijsko testiranje kad se tlo stalno pomiče

Klasični softver mijenja se samo kad ga vi promijenite. Agent se mijenja kad bilo tko promijeni bilo što — vaš prompt, vaše alate, vaš korpus za dohvat, ili sam model kad pružatelj objavi novu verziju. Svako od toga je isporuka i svako zaslužuje istu branu: pokrenite cijeli skup za evaluaciju, usporedite ocjene sa zadnjom poznato-dobrom verzijom i blokirajte promjenu ako kvaliteta padne. Tretirajte evaluacije kao CI. Izmjena prompta koja padne na paketu testova treba biti jednako teško spojiva kao kod koji padne na jediničnim testovima.

Ovako i nadogradnje modela činite sigurnima umjesto zastrašujućima. Kad se pojavi jači model — kao što se sada događa svakih nekoliko mjeseci — ne nagađate hoćete li ga usvojiti. Pokrenete ga na skupu za evaluaciju, pročitate razliku u ocjeni i razliku u trošku i odlučite s brojkama. Ista strogost omogućuje da se smanjite na manji, jeftiniji model za korake kojima frontier nije potreban, dokazujući paritet prije prijelaza.

Gdje timovi griješe

• Isporuka na osjećaj. "Izgledalo je dobro u demou" nije mjerilo kvalitete. Ako ne možete staviti broj na svog agenta, ne možete znati je li vaša sljedeća promjena pomogla ili odmogla.
• Skup za evaluaciju koji nikad ne raste. Statičan skup od 20 slučajeva s dana lansiranja prestaje odražavati stvarnost unutar tjedana. Hranite ga produkcijskim greškama kontinuirano ili se raspada u kazalište.
• Slijepo povjerenje ocjenjivaču. LLM ocjenjivač koji nitko nije kalibrirao prema ljudima može biti samouvjereno, dosljedno u krivu. Validirajte ga kao svaki drugi model.
• Nema tracinga dok nešto ne pukne. Naknadno ugrađivanje observabilnosti tijekom incidenta najgori je mogući trenutak. Instrumentirajte agenta prije isporuke, ne nakon otkaza.
• Ocjenjivanje samo konačnog odgovora. Propustite putanju i isporučit ćete agenta koji do točnog odgovora dolazi krivim, skupim, neskalabilnim putem.

Praktičan put od 90 dana do pouzdanih agenata

1. Tjedni 1–2: instrumentirajte tracing na postojećem agentu tako da se hvata svaki poziv modela i svaki poziv alata. Ne možete popraviti ono što ne vidite.
2. Tjedni 3–5: izgradite prvi skup za evaluaciju od 30–50 slučajeva iz stvarnih transkripata i poznatih grešaka; definirajte kriterije i postavite LLM-as-judge, pa ga kalibrirajte prema ljudskom ocjenjivanju.
3. Tjedni 6–9: ugradite paket evaluacija u CI tako da svaka promjena prompta, alata ili modela automatski pokreće branu i blokira regresije.
4. Tjedni 10–13: uključite kontinuirano online ocjenjivanje prometa uživo, postavite upozorenja na kvalitetu, trošak i latenciju, i zatvorite petlju — svaka produkcijska greška postaje novi slučaj za evaluaciju.

Zaključak

U 2026. konkurentska prednost u AI-ju nije tko može izgraditi agenta — svi mogu. Prednost je tko mu može dovoljno vjerovati da ga stavi pred kupce, u financijski zaključak, u red podrške i pusti da radi. To povjerenje nije osjećaj; proizvodi se, namjerno, iz evaluacija koje hvataju regresije prije korisnika i observabilnosti koja vam pokazuje točno što je agent učinio i zašto. Neglamurozan posao mjerenja pretvara dojmljiv demo u pouzdan sustav. Timovi koji to usvoje isporučuju agente koji traju. Oni koji ne — isporučuju agente koji ih iznenade, uvijek u najgorem mogućem trenutku.