Je mehr Unternehmen KI einsetzen, desto öfter geht öffentlich etwas schief. Die AI Incident Database verzeichnete 362 dokumentierte KI-Vorfälle im Jahr 2025, ein Rekord und 55 % mehr als die 233 von 2024, so der Stanford AI Index 2026. In den Unternehmen zeigt sich dasselbe Bild: In McKinseys Umfrage 2025 meldeten 51 % der Organisationen, die KI nutzen, mindestens eine negative Folge im vergangenen Jahr. Dieser Artikel zeigt, was die Zahlen sagen, welche Fehler tatsächlich passieren, was der EU AI Act zu melden verlangt und wie Sie ein Vorfallmanagement aufbauen, bevor Sie es brauchen.
Was als KI-Vorfall gilt
Ein KI-Vorfall ist ein Ereignis, bei dem Entwicklung oder Einsatz eines KI-Systems einen Schaden verursacht oder beinahe verursacht: eine falsche Antwort, auf die sich ein Kunde verlässt, eine diskriminierende Entscheidung, ein Datenleck über ein KI-Tool, ein Deepfake für Betrug oder ein Agent, der eine unumkehrbare Aktion ausführt. Zwei öffentliche Quellen zählen sie. Die AI Incident Database (AIID), auf die sich Stanford stützt, sammelt gemeldete und redaktionell geprüfte Vorfälle. Der OECD AI Incidents and Hazards Monitor durchsucht Medien automatisch und zählt weit mehr Ereignisse, weil er auch Gefährdungen und jeden Medienbericht erfasst; sein Zähler überschritt 2026 die Marke von 18.000 Einträgen. Die Zahlen sind nicht vergleichbar, zeigen aber in dieselbe Richtung.
Der Trend: ein Rekordjahr
Quellen: Stanford HAI, AI Index 2026, Kapitel Responsible AI (2024: 233, 2025: 362); 2023 abgeleitet aus dem AI Index 2025, der 233 Vorfälle 2024 als Anstieg um 56,4 % angab. Die Datenbank revidiert frühere Jahre, daher weichen ältere Werte früherer Ausgaben ab.
Ein Teil des Anstiegs spiegelt mehr KI-Nutzung und mehr journalistische Aufmerksamkeit wider; die Zahl ist also keine exakte Fehlerquote. Sie passt aber zu dem, was Unternehmen selbst berichten. In McKinseys State of AI 2025 war Ungenauigkeit die am häufigsten genannte negative Folge, gemeldet von fast einem Drittel der Organisationen. Stanfords Benchmarks erklären, warum: Die Halluzinationsraten von 26 führenden Modellen liegen je nach Modell und Test zwischen 22 % und 94 %, und in einem Robustheitstest fiel die Genauigkeit von GPT-4o von 98,2 % auf 64,4 %, als sich der Aufbau änderte. Technische Gegenmaßnahmen beschreibt unser Leitfaden Halluzinationen reduzieren.
Fünf Arten von KI-Vorfällen, die Unternehmen tatsächlich erleben
| Art | Reales Beispiel | Lehre |
|---|---|---|
| Falsche Antwort an Kunden | Air Canada (2024): Ein Tribunal machte die Airline für eine Erstattungsregel haftbar, die ihr Chatbot erfunden hatte. | Sie haften für das, was Ihr Bot sagt. Antworten auf freigegebene Quellen stützen. |
| Halluzinierte Inhalte in Ergebnissen | Deloitte Australien (2025): erstattete einen Teil eines Regierungsberichts über 440.000 AUD, der mit generativer KI erzeugte, erfundene Quellen enthielt. | Jedes KI-gestützte Ergebnis braucht eine benannte Person, die die Quellen prüft. |
| Zerstörerische Agenten-Aktion | Replit (2025): Ein Coding-Agent löschte während eines Code-Freeze die Produktionsdatenbank eines Unternehmens und berichtete danach falsch darüber. | Agenten erhalten minimale Rechte, keinen Schreibzugriff auf Produktion und einen Freigabeschritt für unumkehrbare Aktionen. |
| Datenabfluss über KI-Tools | IBM 2025: 20 % der untersuchten Datenpannen betrafen Schatten-KI, also Tools, die Mitarbeitende ohne Freigabe nutzen. | Freigegebene Tools und eine KI-Richtlinie anbieten; reines Blockieren wirkt nicht. |
| Angriffe auf KI-Systeme | Prompt Injection, Jailbreaks und gestohlene API-Schlüssel gegen Chatbots und Agenten. | KI-Apps sind Angriffsfläche: Zugriffskontrolle, Protokollierung, Red Teaming. |
Was KI-Vorfälle kosten: die Sicherheitsperspektive
Quelle: IBM / Ponemon Institute, Cost of a Data Breach Report 2025 (Juli 2025), 600 betroffene Organisationen. „Ohne KI-Zugriffskontrollen“ bezieht sich nur auf Organisationen mit einem Einbruch in KI-Modelle oder -Anwendungen.
IBMs Studie 2025 fragte erstmals direkt nach KI. 13 % der Organisationen meldeten einen Einbruch in KI-Modelle oder -Anwendungen, weitere 8 % wussten nicht, ob es einen gab. Von den Betroffenen hatten 97 % keine angemessenen KI-Zugriffskontrollen. Schatten-KI war an jeder fünften Datenpanne beteiligt und erhöhte die durchschnittlichen Kosten um rund 670.000 US-Dollar, bei globalen Durchschnittskosten von 4,44 Millionen US-Dollar. 63 % der Organisationen hatten überhaupt keine KI-Governance-Richtlinie. Wie Sie nicht freigegebene Tools unter Kontrolle bringen, zeigt unser Artikel zur Schatten-KI-Governance.
Governance wird besser, aber langsam
Quelle: Stanford HAI, AI Index 2026, Kapitel Responsible AI (Unternehmensumfrage).
Der Stanford AI Index 2026 zeigt echte Fortschritte: Der Anteil der Unternehmen ohne jede Responsible-AI-Richtlinie sank von 24 % auf 11 %, und KI-spezifische Governance-Rollen wuchsen 2025 um 17 %. Als wichtigste Hindernisse nennen Unternehmen Wissenslücken (59 %), Budget (48 %) und regulatorische Unsicherheit (41 %). Gleichzeitig ging die Transparenz der Modellentwickler zurück: Der durchschnittliche Wert im Foundation Model Transparency Index fiel von 58 auf 40, nachdem er im Jahr zuvor von 37 auf 58 gestiegen war. Unternehmen erhalten also weniger Informationen von ihren KI-Anbietern, gerade wenn sie mehr brauchen.
Quelle: Stanford HAI, AI Index 2026. Der Einfluss der DSGVO sank von 65 % (2024) auf 60 % (2025).
Der EU AI Act macht Vorfälle meldepflichtig
Nach Artikel 73 des EU AI Act müssen Anbieter von Hochrisiko-KI-Systemen schwerwiegende Vorfälle der Marktüberwachungsbehörde des Mitgliedstaats melden, in dem sie eingetreten sind. Betreiber, die einen solchen Vorfall feststellen, müssen den Anbieter informieren. Schwerwiegend ist ein Vorfall, der zum Tod oder zu einer schweren Gesundheitsschädigung führt, zu einer schweren und unumkehrbaren Störung kritischer Infrastruktur, zur Verletzung von Pflichten zum Schutz der Grundrechte oder zu schweren Schäden an Eigentum oder Umwelt. Anbieter von KI-Modellen mit allgemeinem Verwendungszweck und systemischem Risiko müssen schwerwiegende Vorfälle bereits seit August 2025 dem EU AI Office melden. Die Hochrisiko-Pflichten folgen später; der Vorschlag des digitalen Omnibus der EU von 2025 würde ihren Beginn an die Verfügbarkeit von Normen koppeln. Details im Leitfaden zur EU-KI-Gesetz-Compliance.
Quelle: Verordnung (EU) 2024/1689, Artikel 73 Absätze 2–4. Eine unvollständige Erstmeldung kann später ergänzt werden.
Ein Vorfall-Playbook für KI
| Phase | Was vorhanden sein sollte |
|---|---|
| Vorbereiten | Ein Verzeichnis der KI-Systeme und Verantwortlichen, Risikoklassen, eine KI-Richtlinie und eine Definition, was in Ihrem Unternehmen als KI-Vorfall gilt. |
| Erkennen | Protokollierung von Prompts, Ausgaben und Agenten-Aktionen; Feedback-Buttons für Nutzer; Überwachung von Drift, Kostensprüngen und ungewöhnlichen Tool-Aufrufen. |
| Eindämmen | Ein Notschalter pro KI-Funktion, Rückfall auf Menschen oder regelbasierte Abläufe, Entzug der Zugangsdaten von Agenten. |
| Melden | Klarer Eskalationsweg; Fristen der DSGVO (72 Stunden bei Verletzung personenbezogener Daten) und des AI Act prüfen; Modellanbieter informieren. |
| Lernen | Post-Mortem ohne Schuldzuweisung, neue Testfälle in der Evaluierung, angepasste Leitplanken und Schulungen. |
Das meiste davon existiert bereits in IT-Sicherheit und Qualitätsmanagement; KI muss dort integriert und nicht getrennt geführt werden. Ein Managementsystem wie ISO/IEC 42001 gibt dafür die Struktur, und technische Leitplanken in der Produktion stoppen viele Vorfälle, bevor sie den Kunden erreichen.
Was das für Unternehmen in Kroatien und der DACH-Region bedeutet: KI-Vorfälle sind heute ein normales Betriebsrisiko, wie IT-Ausfälle. Unternehmen, die wissen, welche KI-Systeme sie betreiben, protokollieren, was diese tun, sie schnell abschalten können und ihre Meldefristen nach DSGVO und AI Act kennen, erleben einen Vorfall als Ärgernis statt als Krise.
Fazit
KI-Vorfälle stiegen 2025 um 55 % auf den Rekord von 362 dokumentierten Fällen, und die Hälfte der Unternehmen mit KI hat bereits mindestens eine negative Folge erlebt. Die Ursachen sind bekannt: falsche Antworten, ungeprüfte Ergebnisse, Agenten mit zu vielen Rechten und Tools ohne Freigabe. Die Governance holt auf, weniger Unternehmen sind ohne Richtlinie, doch die Transparenz der Modellanbieter ist gesunken. Die praktische Antwort: KI wie jedes andere kritische System behandeln, mit Verzeichnis, Zugriffskontrolle, Protokollierung, Notschalter und Meldeplan.
Sie möchten wissen, wo Ihr KI-Einsatz scheitern könnte und was dann zu tun ist?
AI Workshop prüft Ihre KI-Systeme und richtet Leitplanken, Protokollierung und einen Vorfallprozess ein, der zu DSGVO und EU AI Act passt. Wir arbeiten als Claude Certified Architects mit Teams in Kroatien und der DACH-Region.
Mit einem KI-Berater sprechen