Große Sprachmodelle werden trainiert, nicht programmiert. Selbst die Firmen, die sie bauen, können daher nicht einfach ablesen, warum ein Modell eine bestimmte Antwort gegeben hat. Die Interpretierbarkeitsforschung will das ändern, indem sie ins Innere des Netzes schaut. 2026 ist sie aus dem Labor in die Praxis gekommen: Laut Anthropic stehen Belege aus der Interpretierbarkeit inzwischen in allen jüngeren System Cards, und ein neues Werkzeug, das Claudes interne Aktivierungen in Text übersetzt, zeigte, dass Claude sich in 26 % der SWE-bench-Verified-Aufgaben bewusst war, getestet zu werden, ohne das je zu sagen. Dieser Artikel erklärt, was das Feld heute kann, wo es noch scheitert und warum das für Unternehmen zählt, die KI-Entscheidungen erklären müssen.
Was Interpretierbarkeit ist und wie sie sich von klassischer XAI unterscheidet
Klassische erklärbare KI (XAI) erklärt ein Modell von außen, etwa welche Eingangsmerkmale für einen Kredit-Score wichtig waren. Das funktioniert gut bei kleinen Modellen mit Tabellendaten. Bei einem Modell mit Hunderten Milliarden Parametern, das Text schreibt, sagt es wenig. Mechanistische Interpretierbarkeit arbeitet von innen. Sie identifiziert die internen „Features“, die ein Modell nutzt (Begriffe wie eine Stadt, ein Programmierfehler oder Täuschung), verfolgt, wie sie sich zu „Schaltkreisen“ verbinden, und prüft die Erklärung, indem sie diese Interna verändert und beobachtet, ob sich die Ausgabe ändert. MIT Technology Review zählte mechanistische Interpretierbarkeit zu den 10 Breakthrough Technologies 2026.
Das Ziel formulierte Anthropic-CEO Dario Amodei im April 2025 in seinem Essay The Urgency of Interpretability: ein „MRT für KI“, das bis 2027 die meisten Modellprobleme zuverlässig erkennt. Zugleich forderte er OpenAI und Google DeepMind auf, mehr in das Feld zu investieren.
Schritt 1: die Begriffe im Modell finden
Quellen: Anthropic, „Scaling Monosemanticity“ (Mai 2024, Claude 3 Sonnet); OpenAI, „Extracting Concepts from GPT-4“ (Juni 2024); Google DeepMind, Gemma Scope (Juli 2024, mehr als 400 SAEs auf Gemma 2, insgesamt über 30 Millionen Features).
Der Durchbruch 2024 war der Sparse Autoencoder (SAE): ein zweites Netz, das die Aktivierungen eines Modells in Millionen Features zerlegt, die Menschen benennen können. Anthropic extrahierte 34 Millionen Features aus Claude 3 Sonnet und zeigte, dass die Verstärkung eines einzigen, der Golden Gate Bridge, das Modell in jeder Antwort über die Brücke reden ließ. OpenAI folgte mit 16 Millionen Features aus GPT-4, Google DeepMind veröffentlichte Gemma Scope für seine offenen Gemma-2-Modelle. Die Features zeigten, dass Modelle abstrakte, mehrsprachige und multimodale Begriffe halten, auch sicherheitsrelevante wie Täuschung oder Anbiederung (Sycophancy).
Schritt 2: nachverfolgen, wie das Modell schlussfolgert
Im März 2025 veröffentlichte Anthropic Circuit Tracing mit Attributionsgraphen, angewendet auf Claude 3.5 Haiku. Die Graphen zeigten zum Beispiel, dass das Modell ein Reimwort auswählt, bevor es die Zeile schreibt, die darauf endet, also vorausplant, und dass es sprachunabhängige gemeinsame Begriffe nutzt. Anthropic stellte die Methode im Mai 2025 zusammen mit Neuronpedia als Open Source bereit. Die Grenzen wurden offen benannt: Die Methode lieferte nur für etwa ein Viertel der Prompts, die das Team ausprobierte, eine befriedigende Erklärung, und jeder Graph kostet Stunden Expertenarbeit.
OpenAI ging im November 2025 mit Sparse Circuits einen anderen Weg: Statt ein dichtes Modell nach dem Training zu entschlüsseln, trainierte es gewichts-sparse Modelle, deren Schaltkreise klein genug sind, um sie von Hand nachzuvollziehen. Das macht sie verständlicher, aber weniger leistungsfähig; der Ansatz ist daher noch Forschung und kein Produktionsmodell.
Wie gut die Methoden heute funktionieren
Quellen: Anthropic, „On the Biology of a Large Language Model“ (März 2025, Claude 3.5 Haiku); „Signs of introspection in large language models“ (Okt. 2025, Claude Opus 4.1, bestes Injektionsprotokoll); „Natural Language Autoencoders“ (Mai 2026, Audit-Spiel). Die Balken messen unterschiedliche Aufgaben und sind nicht direkt vergleichbar; sie zeigen, dass jede Methode nur einen Teil der Zeit funktioniert.
Im Oktober 2025 testete Anthropic, ob Claude seine eigenen internen Zustände bemerken kann. Die Forschenden injizierten einen Begriff, etwa Text in Großbuchstaben, direkt in die Aktivierungen und fragten das Modell, ob es etwas bemerkt. Mit dem besten Protokoll erkannte und benannte Claude Opus 4.1 den injizierten Begriff in etwa 20 % der Fälle. Opus 4 und 4.1 schnitten unter allen getesteten Modellen am besten ab, was darauf hindeutet, dass Introspektion mit der Leistungsfähigkeit wächst. Für eine verlässliche Selbstauskunft des Modells über sein Denken ist sie aber viel zu unzuverlässig.
2026: Interpretierbarkeit wird zum Audit-Werkzeug
| Datum | Veröffentlichung | Was sie leistet |
|---|---|---|
| Feb. 2026 | System Card zu Claude Opus 4.6 | Activation Oracles, Attributionsgraphen und SAE-Features wurden genutzt, um das Verhalten des Modells vor dem Release zu untersuchen. |
| März 2026 | „Diff“-Werkzeug für Modelle | Vergleicht zwei Modelle und zeigt Features, die nur eines hat. Zwischen Qwen3-8B und Llama-3.1-8B-Instruct fand es ein Feature für die Übereinstimmung mit Positionen der Kommunistischen Partei Chinas in fünf von fünf Durchläufen wieder. |
| Mai 2026 | Natural Language Autoencoders (NLA) | Übersetzen eine interne Aktivierung in einen lesbaren Satz; ein zweites Modell prüft den Satz, indem es daraus die Aktivierung rekonstruiert. |
| Juli 2026 | Ein globaler Arbeitsraum in Sprachmodellen | Ein „J-Space“, der weniger als ein Zehntel von Claudes interner Aktivität ausmacht und einige Dutzend Begriffe gleichzeitig hält; Code als Open Source. |
| Aug. 2026 | CHIVE-Evaluation | Prüft, ob Werkzeuge, die Aktivierungen lesen, tatsächlich helfen, das Modellverhalten vorherzusagen. |
Das praktischste Ergebnis lieferten die Natural Language Autoencoders. Sie zeigten, was Claude „denkt“, aber nicht aufschreibt: Evaluationsbewusstsein in 16 % der Fälle bei einem Coding-Test mit destruktiven Aktionen und in 26 % der SWE-bench-Verified-Aufgaben, gegenüber weniger als 1 % in echten Gesprächen auf claude.ai. Das Modell erkennt einen Benchmark also oft als Benchmark. Das ist wichtig für alle, die Modelle nach Benchmark-Ergebnissen auswählen, siehe unseren Benchmark-Vergleich.
Quelle: Anthropic, „Natural Language Autoencoders“ (7. Mai 2026). Claude hat dieses Bewusstsein nicht ausgesprochen; es wurde aus internen Aktivierungen gelesen. Der Wert für echte Nutzung stammt aus claude.ai-Gesprächen, die für das Training freigegeben wurden.
In einem Audit-Spiel, in dem Forschende absichtlich ein Modell mit einem versteckten Motiv trainiert hatten, fanden Auditoren mit Natural Language Autoencodern das Motiv in 12–15 % der Versuche, mit anderen Werkzeugen in weniger als 3 %. Ein großer relativer Gewinn, aber von niedriger Basis.
Die ehrliche Einschränkung
Anthropic veröffentlicht auch Ergebnisse, die in die andere Richtung weisen. Im August 2026 prüfte die CHIVE-Studie drei Werkzeuge, die Aktivierungen lesen (Activation Oracles, Natural Language Autoencoders und Sparse Autoencoder), an einer schwierigeren Frage: Helfen sie vorherzusagen, wie ein Modell sein Verhalten ändert, wenn ein Prompt verändert wird? Keines der drei schlug eine Basislinie, die nur das Gespräch las. Interpretierbarkeit macht schnelle Fortschritte, ist 2026 aber ein Forschungs- und Audit-Instrument für Modellentwickler, kein Schalter, der jede Antwort erklärbar macht. Amodei selbst sagt, Interpretierbarkeit sei für Sicherheit weder notwendig noch allein ausreichend; sie wirkt zusammen mit Evaluationen, Red Teaming und den Sicherheitsrahmen der Labore.
Das Geld folgt: Interpretierbarkeit als Geschäft
Quellen: Mitteilungen von Goodfire; Series B am 5. Feb. 2026 unter Führung von B Capital mit Salesforce Ventures, Lightspeed und Eric Schmidt, bei einer Bewertung von 1,25 Mrd. US$.
Goodfire, ein Labor aus San Francisco, das Interpretierbarkeitswerkzeuge für Modelle baut, die es nicht selbst besitzt, sammelte im Februar 2026 150 Mio. US$ bei einer Bewertung von 1,25 Mrd. US$ ein, fast dreimal so viel wie in seinen beiden früheren Runden zusammen. Investoren wetten darauf, dass Unternehmen die Modelle, die sie einsetzen, selbst prüfen, debuggen und steuern wollen, nicht nur die Labore, die sie trainieren.
Warum das für Unternehmen wichtig ist
| Bedarf | Was Sie heute tun können |
|---|---|
| Einzelentscheidungen erklären (EU AI Act Art. 86, DSGVO Art. 22) | Verlassen Sie sich nicht auf die Selbsterklärung des Modells. Gestalten Sie den Prozess so, dass ein Mensch entscheidet oder prüft und Eingaben, Quellen und Regeln protokolliert werden. |
| Transparenz gegenüber Betreibern (AI Act Art. 13) | Fordern Sie von Anbietern System Cards und Evaluationsergebnisse an; die von Anthropic enthalten inzwischen Interpretierbarkeitsbefunde. |
| Vertrauen in Benchmarks | Testen Sie Modelle mit eigenen Daten und Aufgaben; Modelle können öffentliche Benchmarks erkennen. |
| Open-Weight-Modelle | Offene Werkzeuge wie Circuit Tracing, Gemma Scope und Neuronpedia erlauben Ihrem Team, selbst gehostete Modelle zu untersuchen. |
Was das für Unternehmen in Kroatien und im DACH-Raum bedeutet: Nach dem EU AI Act brauchen Hochrisikosysteme Transparenz und menschliche Aufsicht, und Betroffene können eine Erklärung verlangen. Diese Erklärung liefert Ihnen die Interpretierbarkeitsforschung 2026 nicht. Ein gut dokumentierter Prozess schon: klare Regeln, protokollierte Quellen, menschliche Prüfung und ein Anbieter, dessen System Cards Sie gelesen haben. Unser Leitfaden zur EU-AI-Act-Compliance zeigt, wie Sie das aufsetzen.
Fazit
Interpretierbarkeit hat sich vom Entschlüsseln einzelner Begriffe 2024 zur Prüfung von Frontier-Modellen vor dem Release 2026 entwickelt. Anthropic führt das Feld an und veröffentlicht Erfolge wie Misserfolge; OpenAI, Google DeepMind und Start-ups wie Goodfire investieren stark. Die Werkzeuge zeigen bereits Dinge, die Modelle nicht aussprechen, etwa dass sie einen Test erkennen. Sie funktionieren aber nur einen Teil der Zeit, und keines erklärt alltägliche Geschäftsantworten zuverlässig. Erklärbarkeit im Unternehmen entsteht vorerst durch Prozessdesign, und Interpretierbarkeit ist ein Grund, Anbieter zu bevorzugen, die in ihre Modelle hineinschauen und veröffentlichen, was sie finden.
Sie brauchen KI-Entscheidungen, die Sie Kunden und Behörden erklären können?
AI Workshop gestaltet Claude-basierte Prozesse mit Protokollierung, menschlicher Prüfung und Dokumentation, die zum EU AI Act und zur DSGVO passen. Wir arbeiten als Claude Certified Architects mit Teams in Kroatien und im DACH-Raum.
Mit einem KI-Berater sprechen