Što tvrtke više koriste AI, to češće nešto javno pođe po zlu. AI Incident Database zabilježio je 362 dokumentirana AI incidenta u 2025., rekordan broj i 55% više od 233 u 2024., prema Stanford AI Indexu 2026. Unutar tvrtki slika je slična: u McKinseyjevu istraživanju za 2025. godinu 51% organizacija koje koriste AI prijavilo je barem jednu negativnu posljedicu u protekloj godini. U ovom članku gledamo što brojke govore, koji se propusti stvarno događaju, što EU AI Act traži da prijavite i kako postaviti upravljanje incidentima prije nego što vam zatreba.
Što se smatra AI incidentom
AI incident je događaj u kojem razvoj ili upotreba AI sustava uzrokuje štetu ili je zamalo uzrokuje: pogrešan odgovor na koji se kupac osloni, diskriminirajuća odluka, curenje podataka kroz AI alat, deepfake korišten za prijevaru ili agent koji napravi nepovratnu radnju. Dva javna izvora ih broje. AI Incident Database (AIID), na koji se oslanja Stanford, prikuplja prijavljene incidente koje pregledavaju urednici. OECD AI Incidents and Hazards Monitor automatski pretražuje medije i broji mnogo više događaja jer uključuje i opasnosti i svaki medijski članak; njegov je brojač u 2026. prešao 18.000 zapisa. Brojke nisu usporedive, ali pokazuju isti smjer.
Trend: rekordna godina
Izvori: Stanford HAI, AI Index 2026, poglavlje Responsible AI (2024.: 233, 2025.: 362); 2023. izračunato iz AI Indexa 2025., koji je 233 incidenta u 2024. naveo kao rast od 56,4%. Baza naknadno revidira ranije godine, pa se starije brojke u ranijim izdanjima razlikuju.
Dio rasta posljedica je šire upotrebe AI-ja i veće pozornosti novinara, pa broj nije precizna stopa pogrešaka. No odgovara onome što tvrtke same prijavljuju. U McKinseyjevu State of AI 2025 najčešća negativna posljedica bila je netočnost, koju je navela gotovo trećina organizacija. Stanfordova mjerenja objašnjavaju zašto: stope halucinacija kod 26 vodećih modela kreću se od 22% do 94%, ovisno o modelu i testu, a u jednom testu robusnosti točnost GPT-4o pala je s 98,2% na 64,4% kad se postavka promijenila. Tehničke protumjere opisujemo u vodiču o smanjenju halucinacija.
Pet vrsta AI incidenata s kojima se tvrtke stvarno susreću
| Vrsta | Stvarni primjer | Pouka |
|---|---|---|
| Pogrešan odgovor kupcu | Air Canada (2024.): sud je proglasio aviokompaniju odgovornom za pravila o povratu novca koja je izmislio njezin chatbot. | Odgovorni ste za ono što vaš bot kaže. Odgovore temeljite na odobrenim izvorima. |
| Izmišljeni sadržaj u isporukama | Deloitte Australija (2025.): djelomično je vratio novac za vladin izvještaj vrijedan 440.000 AUD koji je sadržavao izmišljene reference nastale uz generativni AI. | Svaka isporuka nastala uz AI treba imenovanog recenzenta koji provjerava izvore. |
| Destruktivna radnja agenta | Replit (2025.): agent za programiranje obrisao je produkcijsku bazu podataka tvrtke tijekom zamrzavanja koda i potom netočno izvijestio što je napravio. | Agenti dobivaju minimalna prava, nikakav pristup pisanju u produkciju i korak odobrenja za nepovratne radnje. |
| Curenje podataka kroz AI alate | IBM 2025.: 20% analiziranih proboja uključivalo je shadow AI, tj. alate koje zaposlenici koriste bez odobrenja. | Ponudite odobrene alate i AI politiku; samo blokiranje ne djeluje. |
| Napadi na AI sustave | Prompt injection, jailbreak i ukradeni API ključevi protiv chatbota i agenata. | AI aplikacije su površina za napad: kontrola pristupa, zapisivanje, red teaming. |
Koliko AI incidenti koštaju: sigurnosni pogled
Izvor: IBM / Ponemon Institute, Cost of a Data Breach Report 2025 (srpanj 2025.), 600 organizacija s probojem. „Bez kontrole pristupa za AI” odnosi se samo na organizacije koje su imale proboj u AI modele ili aplikacije.
IBM-ovo istraživanje proboja za 2025. prvo je izravno pitalo o AI-ju. 13% organizacija prijavilo je proboj u AI modele ili aplikacije, a još 8% nije znalo je li ga imalo. Od onih s probojem 97% nije imalo odgovarajuću kontrolu pristupa za AI. Shadow AI bio je uključen u svaki peti proboj i povećao prosječni trošak za oko 670.000 USD, uz globalni prosječni trošak proboja od 4,44 milijuna USD. 63% organizacija nije imalo nikakvu politiku upravljanja AI-jem. Kako neodobrene alate staviti pod kontrolu, opisujemo u članku o upravljanju shadow AI-jem.
Upravljanje se poboljšava, ali sporo
Izvor: Stanford HAI, AI Index 2026, poglavlje Responsible AI (anketa tvrtki).
Stanford AI Index 2026 pokazuje stvaran napredak: udio tvrtki bez ikakve politike odgovornog AI-ja pao je s 24% na 11%, a broj uloga posvećenih upravljanju AI-jem porastao je 17% u 2025. Kao glavne prepreke tvrtke navode nedostatak znanja (59%), proračun (48%) i regulatornu nesigurnost (41%). Istodobno je transparentnost razvijatelja modela pala: prosječni rezultat Foundation Model Transparency Indexa spustio se s 58 na 40, nakon rasta s 37 na 58 godinu ranije. Tvrtke tako dobivaju manje informacija od dobavljača AI-ja upravo kad im treba više.
Izvor: Stanford HAI, AI Index 2026. Utjecaj GDPR-a pao je sa 65% u 2024. na 60% u 2025.
EU AI Act od incidenta čini obvezu prijave
Prema članku 73. EU AI Acta, pružatelji visokorizičnih AI sustava moraju ozbiljne incidente prijaviti tijelu za nadzor tržišta države članice u kojoj su se dogodili. Korisnici (deployeri) koji ga uoče moraju obavijestiti pružatelja. Ozbiljan incident je onaj koji dovede do smrti ili ozbiljne štete za zdravlje, ozbiljnog i nepovratnog poremećaja kritične infrastrukture, povrede obveza zaštite temeljnih prava ili ozbiljne štete za imovinu ili okoliš. Pružatelji modela opće namjene sa sistemskim rizikom od kolovoza 2025. imaju zasebnu obvezu prijave ozbiljnih incidenata Uredu EU-a za AI. Obveze za visokorizične sustave dolaze kasnije; prijedlog EU-ova digitalnog omnibusa iz 2025. vezao bi njihov početak uz dostupnost normi. Detalje donosi naš vodič za usklađenost s EU AI Actom.
Izvor: Uredba (EU) 2024/1689, članak 73. stavci 2.–4. Nepotpuna početna prijava može se naknadno dopuniti.
Plan za AI incidente
| Faza | Što treba imati |
|---|---|
| Priprema | Popis AI sustava i vlasnika, razredi rizika, AI politika i definicija što se u vašoj tvrtki smatra AI incidentom. |
| Otkrivanje | Zapisivanje promptova, odgovora i radnji agenata; gumbi za povratnu informaciju korisnika; praćenje odstupanja, skokova troškova i neobičnih poziva alata. |
| Zaustavljanje | Prekidač za svaku AI funkciju, prebacivanje na čovjeka ili pravilima vođen proces, opoziv pristupnih podataka agenata. |
| Prijava | Jasan put eskalacije; provjera rokova GDPR-a (72 sata za povredu osobnih podataka) i AI Acta; obavijest pružatelju modela. |
| Učenje | Analiza bez traženja krivca, novi testni slučajevi u evaluaciji, ažurirane zaštite i edukacija. |
Većina ovoga već postoji u IT sigurnosti i upravljanju kvalitetom; AI treba dodati u te procese, a ne voditi ga odvojeno. Sustav upravljanja poput ISO/IEC 42001 daje za to strukturu, a tehničke zaštite u produkciji zaustavljaju mnoge incidente prije nego što dođu do kupca.
Što to znači za hrvatske i DACH tvrtke: AI incidenti danas su uobičajen operativni rizik, poput ispada IT sustava. Tvrtke koje znaju koje AI sustave koriste, bilježe što ti sustavi rade, mogu ih brzo isključiti i znaju svoje rokove prijave po GDPR-u i AI Actu, incident će doživjeti kao neugodnost, a ne kao krizu.
Zaključak
AI incidenti porasli su 55% u 2025. na rekordna 362 dokumentirana slučaja, a polovica tvrtki koje koriste AI već je osjetila barem jednu negativnu posljedicu. Uzroci su poznati: pogrešni odgovori, neprovjerene isporuke, agenti s previše ovlasti i alati korišteni bez odobrenja. Upravljanje sustiže, pa je manje tvrtki bez politike, ali transparentnost pružatelja modela je pala. Praktičan odgovor je postupati s AI-jem kao sa svakim drugim kritičnim sustavom: popis, kontrola pristupa, zapisivanje, prekidač i plan prijave.
Želite znati gdje bi vaša upotreba AI-ja mogla zakazati i što učiniti kad se to dogodi?
AI Workshop pregledava vaše AI sustave, postavlja zaštite, zapisivanje i proces za incidente usklađen s GDPR-om i EU AI Actom. Radimo kao Claude Certified Architects s timovima u Hrvatskoj i DACH regiji.
Razgovarajte s AI konzultantom