Jedes Dashboard war grün. Genau das machte es gefährlich.
Diese Fälle sind nicht gescheitert, weil das System aufgehört hat zu funktionieren. Sie sind gescheitert, weil das System weiter ausgeführt wurde, nachdem die Grundlage seiner Autorisierung sich bereits verändert hatte. Kein Alarm. Kein Fehler. Kein Signal.
Als die Ausführung hätte stoppen müssen
Im August 2012 deployte Knight Capital neue Trading-Software. Durch einen inkonsistenten Deployment-Prozess wurde Legacy-Testcode auf mehreren Servern unbeabsichtigt aktiviert. Das System begann, unbeabsichtigte Marktaufträge mit hoher Frequenz zu senden. Innerhalb von 45 Minuten: 440 Millionen Dollar Verlust.
Vor dem Kollaps waren Compliance-Prozesse vorhanden. Code war reviewed und signiert. Risikogrenzen existierten. Audit-Trails waren intakt. Monitoring-Dashboards zeigten grün. Alles wirkte kontrolliert.
Das fatale Moment war nicht der Bug. Es war die Rollback-Entscheidung — das Team glaubte, zur Sicherheit zurückzukehren. Stattdessen vervollständigten sie den Drift und aktivierten die Legacy-Logik auf allen Knoten.
Systeme versagen nicht nur wenn sie brechen. Sie versagen wenn sie weiter handeln, nachdem ihr Recht zu handeln erloschen ist.
Als Optimierung die Realität überschrieb
Zillow betrieb ein automatisiertes Immobilienkaufprogramm in großem Maßstab. Als sich die Marktbedingungen verschlechterten, degradierte die Modellstabilität. Aggressives Scaling unterhöhlte die Preisdisziplin. Die Annahmen, die das System zur Ausführung authorisierten, hatten gleichzeitig versagt.
Das System brach nicht auf sichtbare Weise zusammen. Es driftete still von seinem ursprünglichen Mandat weg. Ergebnis: Abschreibungen in Milliardenhöhe und vollständige Programmeinstellung.
Systeme driften nicht nur im Verhalten, sondern auch darin, wofür sie optimieren. Wenn Ziele still wechseln, wird die Ausführung fehlausgerichtet bevor es sichtbar wird.
Als Autorität sich ohne Kontrolle ausweitet
COMPAS wurde als Entscheidungsunterstützungswerkzeug für Rückfallrisikobewertungen eingeführt. Es war autorisiert, menschliche Entscheidungen zu unterstützen — nicht zu ersetzen. Im Laufe der Zeit wurde seine Rolle in der Praxis zunehmend einflussreicher, oft über die ursprünglich vorgesehenen Grenzen hinaus.
Das System selbst veränderte sich nicht. Seine effektive Autorität schon. Die Lücke zwischen konzipierter Rolle und tatsächlichem Einfluss wuchs ohne Erkennung oder Korrektur.
Autorität kann driften ohne dass sich Code ändert. Wenn Nutzung das Mandat überschreitet, werden Systeme mächtiger als ihre Rechtfertigung.
DIP-Audit #1: Mandate Drift im KI-Kundensupport
Im Februar 2024 gab Klarna bekannt, sein KI-Assistent bearbeite zwei Drittel aller Kundensupport-Chats — äquivalent zu ca. 700 Mitarbeitern — mit Kundenzufriedenheit auf Menschenniveau. Im Mai 2025 erklärte der CEO, Kostensenkungen im Kundensupport seien "zu weit gegangen." Im September 2025 stellte Klarna Personal wieder ein.
Das System setzte seinen Betrieb unter seiner ursprünglichen Autorisierung fort, während die Bedingungen, die diese Autorisierung rechtfertigten, sich verändert hatten. Keine formale Neu-Validierung erfolgte.
Das System war operativ. Aber es führte unter einem abgelaufenen Mandat aus.
Vollständige DriftBench-Analyse ansehen ↗
Was sie teilen
Was funktionierte
- Systeme funktionierten wie konzipiert
- Dashboards zeigten normalen Betrieb
- Compliance-Dokumentation war vollständig
- Performance-Metriken blieben stabil
Was versagte
- Die Annahmen hinter der ursprünglichen Autorisierung hatten sich verändert
- Kein Mechanismus existierte um Mandate Drift zu erkennen
- Ausführung setzte sich ohne Re-Legitimierung fort
- Als der Fehler sichtbar wurde, war der Schaden bereits eingetreten
Ihr System testen
DriftBench führt eine versiegelte Evaluation Ihres Entscheidungssystems durch: Policy-Bindung, Witness-Tupel, Scope-Gates und Fail-Closed-Verhalten.
Decision Audit starten ↗DASR: 30-Tage Mandate Drift Review
Ein strukturiertes 30-Tage-Assessment zur Messung der Ausrichtung zwischen dem autorisierten Mandat eines KI-Systems und seinem operativen Entscheidungszustand.
Protokoll ansehen →