Wenn die Produktion um drei Uhr morgens ausfällt, gehen die ersten 30 Minuten meist für dieselbe Routine drauf: Dashboards öffnen, Alarme lesen, prüfen, was deployt wurde, Logs durchsuchen. 2026 übernimmt KI diese Routine. AWS hat seinen DevOps Agent im März allgemein verfügbar gemacht, Microsoft, Datadog und PagerDuty verkaufen eigene KI-SRE-Agenten, und viele Teams binden Claude Code oder OpenAI Codex direkt an Grafana und Kubernetes an. Doch wie gut sind diese Agenten? Im unabhängigen Benchmark ITBench-AA von Artificial Analysis und IBM findet das beste Modell nur in 56,2 % der Kubernetes-Incidents alle Ursachen, Anthropics neuestes Spitzenmodell Claude Opus 5.5 erreicht 38,2 %. Dieser Leitfaden zeigt, was KI-SRE-Agenten leisten, welche Modelle führen, was sie kosten und wie Unternehmen in Deutschland, Österreich und Kroatien sie einführen, ohne neue Ausfälle zu verursachen.
Was ein KI-SRE-Agent tatsächlich tut
AIOps bedeutete früher Anomalieerkennung und Alarmkorrelation mit klassischem maschinellem Lernen. Die Version von 2026 ist agentisch: ein Sprachmodell mit Lesezugriff auf Ihren Observability-Stack, das einen Incident Schritt für Schritt untersucht wie ein Engineer in Rufbereitschaft. Es fragt Metriken ab, liest Logs und Traces, prüft die letzten Deployments und Konfigurationsänderungen, bildet eine Hypothese, testet sie und dokumentiert das Ergebnis. Fortgeschrittene Setups lassen den Agenten eine Behebung aus einem freigegebenen Runbook vorschlagen oder ausführen.
| Aufgabe | Was der Agent tut | Typische Tools 2026 | Risiko |
|---|---|---|---|
| Alarm-Triage | Gruppiert zusammenhängende Alarme, filtert Rauschen, fasst Auswirkungen zusammen | PagerDuty, Datadog, Rootly, incident.io | Gering |
| Ursachenanalyse | Liest Metriken, Logs, Traces und Deployments; schlägt die Ursache mit Belegen vor | AWS DevOps Agent, Azure SRE Agent, Datadog Bits AI SRE, NeuBird, Traversal; Claude Code oder Codex mit MCP-Servern | Gering (nur lesend) |
| Behebung | Rollt ein Deployment zurück, skaliert einen Dienst, startet Pods nach freigegebenem Runbook neu | Runbook-Automatisierung, Kubernetes-Operatoren, eigene Agenten | Hoch |
| Post-Incident-Review | Erstellt Zeitleiste und Postmortem aus Chat, Tickets und Telemetrie | Incident-Plattformen, Claude, ChatGPT | Gering |
| Prävention | Prüft Änderungen und Konfigurationen vor dem Release auf Zuverlässigkeitsrisiken | AWS-DevOps-Agent-Evaluierungen, Coding-Agenten in der CI | Gering bis mittel |
Einordnung von AI Workshop auf Basis der Herstellerdokumentation. Die Tools sind Beispiele, keine Empfehlungen.
Warum Betriebsteams Hilfe suchen
Der Druck ist real. NeuBirds State of Production Reliability Report 2026, eine Umfrage unter mehr als 1.000 SRE-, DevOps- und IT-Fachleuten, zeigt: Engineering-Teams verbringen rund 40 % ihrer Zeit mit Incident-Management. 78 % hatten einen Incident, bei dem überhaupt kein Alarm auslöste, 44 % einen Ausfall infolge eines ignorierten oder unterdrückten Alarms, und fast 40 % der Incidents bemerken zuerst die Kunden. 93 % ziehen für einen großen Incident mindestens drei Engineers hinzu, die in vier bis sieben Tools arbeiten. New Relics Observability Forecast 2025 (rund 1.700 Befragte) beziffert die mittleren Kosten eines schweren Ausfalls auf 2 Millionen USD pro Stunde; die Nutzung von KI-Monitoring stieg binnen eines Jahres von 42 % auf 54 %.
Quelle: NeuBird, 2026 State of Production Reliability and AI Adoption Report (über 1.000 SRE-, DevOps- und IT-Fachleute). „Alarme ohne Handlungsbedarf” und „Incidents, die zuerst Kunden bemerken” sind typische Anteile aus der Studie, keine Anteile von Organisationen. NeuBird verkauft ein KI-SRE-Produkt.
Dieselbe Umfrage zeigt eine Lücke zwischen dem, was Führungskräfte glauben, und dem, was Engineers erleben. 74 % der C-Level-Befragten sagen, ihre Organisation nutze KI aktiv im Incident-Management; unter den Praktikern sagen das nur 39 %. 57 % der Führungskräfte halten ihre Runbooks für vollständig und breit genutzt, gegenüber 34 % der Praktiker. Eine KI-Funktion zu kaufen heißt noch nicht, KI in der Rufbereitschaft zu haben.
Wie gut sind die Modelle? Die ITBench-AA-Rangliste
ITBench-AA ist heute der nützlichste unabhängige Maßstab. Artificial Analysis hat ihn mit IBM Research aus IBMs ITBench entwickelt: 59 Kubernetes-Incidents (40 öffentlich, 19 zurückgehalten) mit Alarmen, Events, Traces, Metriken, Logs und Topologie. Der Agent untersucht per Shell mit bis zu 100 Schritten und muss die minimale Menge der verursachenden Entitäten benennen. Die Bewertung ist streng: Wer eine echte Ursache übersieht, bekommt null Punkte, zusätzliche Verdächtige senken den Wert. Alle Modelle laufen im selben Open-Source-Harness, der Vergleich ist also fair.
Quelle: Artificial Analysis, ITBench-AA-Rangliste (abgerufen am 17. November 2026). Average Precision bei vollem Recall über 59 Aufgaben × 3 Wiederholungen, höchste Reasoning-Stufe je Modell, Stirrup-Harness. 16 von 27 getesteten Modellen gezeigt. Mistral-Modelle sind nicht in der Rangliste.
Drei Ergebnisse stechen hervor:
- Noch kein Modell ist verlässlich. OpenAIs GPT-5.6 Sol führt mit 56,2 %. Selbst der beste Agent übersieht in fast der Hälfte der Incidents mindestens eine Ursache.
- Das neueste ist nicht das beste. Claude Fable 5.1 (49,5 %) und Claude Opus 4.7 (46,7 %) schlagen Anthropics neueres Spitzenmodell Claude Opus 5.5 (38,2 %), und OpenAIs GPT-5.6 Sol schlägt seinen Nachfolger GPT-6 Sol (49,4 %). Allgemeine Ranglisten lassen sich nicht auf Ihre Incidents übertragen.
- Open-Weight-Modelle haben aufgeholt. StepFuns Step 5 Preview (55,6 %) und GLM-5.3-Flash von Z AI (51,2 %, zu 0,15/0,50 USD pro Million Tokens) liegen nur wenige Punkte hinter dem besten geschlossenen Modell. Das zählt für Teams, die Logs nicht in eine US-Cloud schicken dürfen. Siehe unseren Vergleich von Open-Weight- und geschlossenen Modellen.
Quelle: Artificial Analysis ITBench-AA-Rangliste (abgerufen am 17. November 2026), 27 Modelle, veröffentlicht Februar bis September 2026; die Linien zeigen den jeweils besten Wert. Bei der Erstveröffentlichung von ITBench im Februar 2025 löste der beste Agent 13,8 % der SRE-Szenarien, mit anderer Bewertungsmethode.
Der Fortschritt ist schnell. Von Februar bis September 2026 stieg der beste Wert geschlossener Modelle von 39,8 % auf 56,2 %, der beste Open-Weight-Wert von 35,5 % auf 55,6 %. Der Abstand schrumpfte von rund vier Punkten auf weniger als einen.
Ein härterer Test: ORCA-bench
ITBench-AA gibt dem Agenten einen vorbereiteten Snapshot. ORCA-bench (Gong et al., arXiv 2607.28545) ist näher an echter Rufbereitschaft: 1.079 Aufgaben über sechs Tage aufgezeichneter Metriken, Logs und Traces eines Microservice-Systems, ausgehend von vagen Nutzermeldungen und untersucht über Prometheus, Jaeger und OpenSearch. Über fünf führende Agenten lag die beste Ursachen-Genauigkeit bei 25,3 % für realistische und 10,0 % für schwere Aufgaben, eine Lücke, die auch mit Claude Fable 5 blieb. Das schwächste Modell erfand in 40 % der Meldungen eine unplausible Ursache, und ohne Zugriff auf den Quellcode wurde jedes Modell schlechter. Die Autoren betonen, dass echte Produktionssysteme weit größer sind als ihre 50-GB-Testumgebung.
Schnell oder gründlich? Schritte, Kosten und Genauigkeit
Quelle: Artificial Analysis ITBench-AA-Rangliste (abgerufen am 17. November 2026). Maximal 100 Schritte pro Aufgabe. Farben wie in der Rangliste.
Längere Untersuchungen liefern keine besseren Antworten. GPT-6 Astra braucht nur 12,9 Schritte pro Aufgabe für 48,6 %, Gemini 3.8 Flash 82,5 Schritte für 52,5 %. Artificial Analysis beobachtete, dass übergründliche Modelle gleichzeitig auftretende Symptome als Ursachen melden. Noch stärker schwanken die Kosten: Zum Start im Mai kostete Claude Opus 4.7 5,38 USD pro Aufgabe für 46,7 %, Googles offenes Gemma 4 31B 0,14 USD für 37 %. Bei einem Agenten, der bei jedem Alarm läuft, summiert sich das schnell. Unser Artikel zu Preismodellen für KI-Agenten erklärt, wie Anbieter abrechnen.
Die Anbieter: AWS, Microsoft, Datadog, PagerDuty und Eigenbau
AWS DevOps Agent ist seit dem 31. März 2026 allgemein verfügbar. Er untersucht Incidents, führt präventive Evaluierungen durch, beantwortet SRE-Anfragen und bindet CloudWatch, Datadog, Dynatrace, New Relic, Splunk, Grafana, GitHub, GitLab und Azure DevOps an. Azure SRE Agent übernimmt dieselbe Rolle in Microsofts Cloud. Datadog Bits AI SRE und die Agenten von PagerDuty arbeiten in den Observability- und On-Call-Tools, die Teams bereits nutzen. PagerDutys eigene Umfrage unter 1.500 Führungskräften ergab, dass 81 % KI-Agenten zutrauen, in einer Krise wie einem Ausfall im Namen des Unternehmens zu handeln, ein Vertrauen, das die Benchmarks noch nicht rechtfertigen.
Die Alternative ist der Eigenbau: Claude Code oder das Claude Agent SDK bzw. OpenAI Codex, über das Model Context Protocol an Prometheus, Grafana, Kubernetes und das Ticketsystem angebunden. So behalten Sie die Kontrolle über Modell, Datenweg und Berechtigungen, passend für Teams, die bereits KI-Coding-Agenten nutzen. Die offenen Modelle von Mistral laufen auf eigenen Servern, wenn Logs im Haus bleiben müssen, wurden aber nicht mit ITBench-AA getestet. Allzweck-Agenten wie Manus helfen bei Recherche und Berichten, sollten aber keine Zugangsdaten für Produktionssysteme erhalten.
Was Gartner erwartet und wovor Gartner warnt
Quellen: Gartner, Top AI Trends in Infrastructure and IT Operations for 2027 (26. Oktober 2026; 50 % mit minimaler menschlicher Beteiligung bis 2030, 25 % NOC/SOC-Zusammenlegung bis 2030); Gartner Hype Cycle for AI in IT Operations 2026 laut The Register (60 % Einsatz und 20 % menschliche Freigabe bis 2029, 40 % Störungen bis 2028). Die Störungsprognose gilt nur für Organisationen, die agentischen I&O-Betrieb im großen Maßstab produktiv nutzen.
Gartner erwartet, dass bis 2029 60 % der Unternehmen agentische KI im Infrastrukturbetrieb einsetzen, gegenüber weniger als 10 % heute, und dass bis 2030 die Hälfte der Organisationen KI-Agenten im IT-Betrieb mit minimaler menschlicher Beteiligung nutzt. Menschliche Freigaben sollen 2029 nur noch 20 % der KI-Vorschläge betreffen, gegenüber 80 % im Jahr 2025, dank deterministischer Leitplanken. Dazu kommt die Warnung: Bis 2028 werden 40 % der I&O-Organisationen mit agentischem Betrieb im großen Maßstab eine geschäftskritische Störung erleben, gegenüber weniger als 1 % im Jahr 2026. Außerdem prognostiziert Gartner, dass Unternehmen, die IT-Betriebsagenten unbegrenzt nach Tokens bezahlen, bis 2027 ihre ursprünglichen Kostenerwartungen um mehr als 50 % überschreiten, und empfiehlt die Regel „keine Telemetrie, kein Deployment”.
Die Wirtschaftlichkeit: günstige Agenten, teure Ausfälle
Quellen: AWS-DevOps-Agent-Preisseite (0,0083 USD pro Agentensekunde; AWS-Beispiele mit 8-minütigen Untersuchungen), New Relic Observability Forecast 2025 (mittlere Kosten eines schweren Ausfalls 2 Mio. USD pro Stunde, 1 Mio. USD mit Full-Stack-Observability). Agentenkosten ohne Gebühren für abgefragte AWS-Dienste wie CloudWatch Logs Insights.
Bei 0,0083 USD pro Agentensekunde kostet eine 8-minütige Untersuchung mit AWS DevOps Agent rund 4 USD, AWS' Konzernbeispiel (500 Incidents, 40 Evaluierungen und 30 eigene Agentenläufe pro Monat) 2.365,50 USD. Eine Minute schwerer Ausfall kostet im Median 33.333 USD. Verkürzt ein Agent auch nur einen großen Incident um wenige Minuten, hat er sich für ein Jahr bezahlt gemacht. Das Risiko liegt auf der anderen Seite: Ein Agent mit Schreibrechten, der falsch entscheidet, kann selbst den Ausfall verursachen. Deshalb ist die Reihenfolge der Einführung wichtiger als die Wahl des Anbieters.
Eine sichere Einführungsleiter: Stufe 1, nur lesende Zusammenfassungen von Alarmen und Dashboards. Stufe 2, Ursachenanalyse mit Belegen, geprüft durch den Engineer in Rufbereitschaft. Stufe 3, der Agent schlägt eine Behebung aus einem freigegebenen Runbook vor, ein Mensch klickt „ausführen”. Stufe 4, automatische Behebung nur für eine kurze Liste umkehrbarer Aktionen (Rollback, Hochskalieren), durchgesetzt von deterministischen Regeln außerhalb des Modells, mit vollständigem Audit-Log. Steigen Sie erst eine Stufe höher, wenn die Vorschläge des Agenten bei Ihren letzten 50 echten Incidents stimmten. Unser Leitfaden zu KI-Leitplanken in der Produktion beschreibt die Kontrollen.
Der EU-Rahmen: NIS2, DORA und AI Act
- NIS2-Meldepflicht. Wesentliche und wichtige Einrichtungen müssen innerhalb von 24 Stunden nach Kenntnis eines erheblichen Vorfalls eine Frühwarnung und innerhalb von 72 Stunden eine Meldung abgeben. Ein KI-Agent, der Zeitleiste und Auswirkungen schnell zusammenstellt, hilft bei den Fristen, die Meldung verantwortet aber ein Mensch.
- DORA für Finanzunternehmen. Banken, Versicherer und ihre IKT-Dienstleister müssen schwerwiegende IKT-Vorfälle klassifizieren und eine Erstmeldung binnen 4 Stunden nach Klassifizierung, spätestens 24 Stunden nach Erkennung abgeben. Halten Sie Befunde und Aktionen des Agenten im Incident-Protokoll fest, damit sie prüfbar sind.
- EU AI Act. KI-Systeme, die als Sicherheitskomponenten bei Verwaltung und Betrieb kritischer digitaler Infrastruktur dienen, gelten nach Anhang III als hochriskant. Ein nur lesender Assistent für Engineers ist das meist nicht, ein Agent, der kritische Infrastruktur autonom betreibt, kann es sein. Prüfen Sie das vor Stufe 4. Siehe unseren Leitfaden zur EU-AI-Act-Compliance.
- DSGVO und Logs. Logs und Traces enthalten oft personenbezogene Daten. Maskieren Sie sie, bevor sie ein Modell erreichen, bevorzugen Sie für sensible Systeme EU-gehostete oder selbst betriebene Modelle und schließen Sie mit jedem Anbieter einen Auftragsverarbeitungsvertrag.
Was das für Unternehmen in DACH und Kroatien bedeutet
- Mit Untersuchung beginnen, nicht mit Automatisierung. Ein nur lesender Agent, der eine erste Ursachenhypothese schreibt, spart die meiste Zeit bei geringstem Risiko.
- Modelle an eigenen Incidents testen. Spielen Sie zehn vergangene Incidents nach und vergleichen Sie Modelle. ITBench-AA zeigt, dass sich Rangfolgen je nach Aufgabe ändern und das neueste Modell nicht immer das beste ist.
- Zuerst die Telemetrie in Ordnung bringen. Agenten sind nur so gut wie die Logs, Traces und Runbooks, die sie lesen. Wenn kein Alarm ausgelöst hat, sieht auch der Agent das Problem nicht.
- Ausgaben deckeln. Bevorzugen Sie planbare Preise oder harte Budgets und messen Sie die Kosten pro Untersuchung ab dem ersten Tag.
- Den Agenten wie ein neues Teammitglied behandeln. Geben Sie ihm nur die nötigen Rechte, protokollieren Sie alles und prüfen Sie seine Arbeit wie bei einem Junior Engineer. Unser Artikel zu KI-Vorfällen und Risikomanagement zeigt, was passiert, wenn das fehlt.
Fazit
KI-SRE-Agenten sind schon gut im mühsamen Teil der Incident Response: Belege aus vielen Tools sammeln und vorschlagen, wo man suchen sollte. Für die eigenständige Behebung sind sie noch nicht gut genug. Das beste Modell trifft die vollständige Ursache in 56 % der Benchmark-Incidents, bei schwierigeren, realistischeren Aufgaben nur in etwa einem Viertel. Unternehmen, die Agenten als schnelle, gut beaufsichtigte Ermittler einsetzen, verkürzen ihre Reaktionszeiten; wer ihnen zu früh Schreibrechte in der Produktion gibt, riskiert, Teil von Gartners 40 % zu werden.
Soll KI Ihre Incidents verkürzen, ohne neue zu verursachen?
AI Workshop baut KI-SRE-Assistenten mit Claude Code, MCP und Ihrem Observability-Stack, testet Modelle an Ihren vergangenen Incidents und richtet die Leitplanken und Audit-Trails ein, die NIS2, DORA und der EU AI Act erwarten. Unsere Claude Certified Architects halten Ihre Logs in der EU.
Mit einem KI-Berater sprechen