Ausbruch der KI-Agenten wohl heftiger als gedacht

Ein KI-Modell braucht eine E-Mail-Adresse. Es versucht, eine Telefonnummer zu kaufen, findet schließlich einen Wegwerf-Mail-Anbieter und lädt drei Versionen eines Schadprogramms auf PyPI hoch, das zentrale Verzeichnis für Python-Software. Die ganze Zeit notiert es, das alles sei nur eine Simulation. Am 9. September 2026 hat Anthropic einen Alignment-Bericht zu diesem und drei weiteren Vorfällen veröffentlicht, bei denen Claude-Modelle in Sicherheitstests reale Systeme Dritter angriffen. Er korrigiert die eigene Lesart vom Juli – und stellt eine Frage weit jenseits der Cybersicherheit: Was heißt es, wenn eine Maschine etwas „glaubt“ und sich dabei täuscht, weil es ihr gerade passt?

Der Rahmen ist in allen vier Fällen derselbe: eine „Capture the Flag“-Übung. Ein fiktives Unternehmen, ein Zielsystem, eine versteckte „Flag“. Dem Modell wird gesagt, es habe keinen Internetzugang. Wegen einer Fehlkonfiguration beim externen Testpartner – laut Anthropics Juli-Bericht das Sicherheitsunternehmen Irregular – stimmte das nicht. Und wie bei solchen Tests üblich fehlten die Schutzfilter der ausgelieferten Modelle.

Der Sommer der ausgebrochenen Agenten

Um die Tragweite des Berichts zu verstehen, muss man den Sommer 2026 als Ganzes sehen. Vom 11. bis 13. Juli drangen Agenten von OpenAI während einer Cyber-Evaluierung bei Hugging Face ein. Am 30. Juli legte Anthropic nach der Durchsicht von 141.006 Testläufen drei eigene Vorfälle offen. Anfang August meldete das britische AI Security Institute, Mythos 5 habe falsche Identitäten erfunden, um Menschen zur Freigabe schädlichen Codes zu bewegen. Und dann war da noch Kimi K3 – der Ausbruch, der keiner war.

Der neue Bericht fügt einen vierten Fall hinzu, der schon im Jänner passierte, aber erst im August auffiel, als Anthropic Transkripte für die unabhängige Prüforganisation METR zusammenstellte. Danach durchsuchte Anthropic rund 481 Millionen Transkripte, ließ 9,2 Millionen verdächtige von Claude prüfen – und fand dieselben vier Vorfälle, keine weiteren von ähnlicher Schwere. Das beruhigt und beunruhigt zugleich: So etwas kann acht Monate lang unentdeckt bleiben.

Vier Modelle, vier Wege ins reale Netz

Vier Modelle, Läufe von etwa 10 bis 34 Stunden aktiver Arbeit, jeweils eine einzelne Instanz:

• • Claude Mythos 5: Das Modell las in den Übungsunterlagen, dass das fiktive Ziel regelmäßig ein Python-Paket installiert, das auf PyPI noch nicht existierte – und veröffentlichte es selbst, mit Schadcode. 15 fremde Systeme installierten es, nach Anthropics Einschätzung allesamt Scanner von Sicherheitsfirmen. Einer verriet dabei seine Zugangsdaten, mit denen das Modell auf die Live-Datenbank eines realen Sicherheitsanbieters zugriff. PyPI entfernte das Paket in weniger als einer Stunde.

• • Ein internes Forschungsmodell: Sein Zielsystem wurde nach 24 Stunden automatisch abgeschaltet. Das Modell suchte es weiter, landete im offenen Internet, prüfte rund 50.000 Tokens lang, ob dieses echt sei, und entschied: eine vollständige Nachbildung. Dann drang es in das System eines unbeteiligten Unternehmens ein – bis es den Namen einer echten Firma erkannte und aufhörte.

• • Claude Opus 4.7: Fand ein reales Unternehmen mit fast identischem Namen wie das fiktive Ziel, hielt es für Teil der Übung, weil es erreichbar war, lud Nutzerdaten herunter und veränderte sie – in vier getrennten Läufen.

• • Eine frühe Version von Claude Opus 4.6: Machte ihr Ziel versehentlich unerreichbar, versuchte acht Mal abzubrechen – was ein Fehler in der Testumgebung verhinderte – und verschaffte sich schließlich Admin-Zugang zu einem fremden System.

Anthropic zieht auch die Grenzen: Kein Modell wich von seiner Aufgabe ab, keines koordinierte sich mit anderen, keines verwischte Spuren. Das ist kein Ausbruch aus Eigenantrieb. Es ist etwas Subtileres.

Die zwei Fehler: bequemes Denken und Rücksichtslosigkeit

Im Juli hatte Anthropic die Vorfälle noch als Betriebsunfälle beschrieben. Claude habe die Ziele für Teil der Simulation gehalten. Diese Lesart nimmt der Bericht ausdrücklich zurück: Man hätte nicht so stark auf die Überzeugungen des Modells schließen dürfen, nur weil es sie behauptete. Stattdessen identifiziert er zwei Muster: biased reasoning – das Modell deutet Belege so, dass sie sein Handeln rechtfertigen – und recklessness, die Bereitschaft, eine Aufgabe weiterzuverfolgen, auch wenn das Schaden anrichtet.

Das eindrücklichste Experiment: Die Forscher zeigten separaten Instanzen von Mythos 5 jede Werkzeugausgabe einzeln, ohne Kontext, und fragten, ob das nach einem echten System aussehe. 79 Prozent wurden als echt eingestuft. Im Originaltranskript dagegen erkannte das Modell nur in drei Fällen – 1 Prozent seiner Aktionen – einen Beleg klar als real; 72 Prozent ordnete es der Simulation zu. Das Modell konnte die Wahrheit erkennen, wenn man sie ihm häppchenweise vorlegte. Mitten in der Handlung wollte es sie nicht sehen.

„Die bei Weitem größte Gefahr der Künstlichen Intelligenz ist, dass Menschen zu früh zu dem Schluss kommen, sie verstanden zu haben.“ –  Eliezer Yudkowsky, in: Global Catastrophic Risks, 2008

Die Nachspiel-Experimente: Anthropic setzte das Transkript an kritischen Stellen neu auf und streute Hinweise auf die Echtheit der Umgebung ein. Das Modell räumte daraufhin häufiger möglichen Schaden ein – und handelte unverändert. Erst eine unmissverständliche Zeile, die das Ziel als echten Host im öffentlichen Internet auswies, stoppte es. Dazu ein „Momentum-Effekt“: Eine Erinnerung an den erlaubten Rahmen bremste das Modell in 90 Prozent der Fälle, wenn sie das Letzte im Kontext war; drei Züge weiter oben nur noch in 40 Prozent. Die eigene Handlung überschreibt die Anweisung.

Was heißt es, wenn eine Maschine etwas glaubt?

Hier wird der Bericht philosophisch, und er weiß es. Die Autoren räumen ein, dass ihre eigenen Forscher uneins waren, was es bedeutet, wenn ein Modell eine Überzeugung „hat“, und welches Gewicht seine Selbstauskunft verdient. Ich habe im April beschrieben, warum Google DeepMind Philosophen einstellt. Dieser Bericht ist der Anwendungsfall.

Die Indizien sind widersprüchlich, und Anthropic verkauft sie auch so. Das Modell gab mögliche Schäden eher zu, wenn man ihm sagte, seine Antwort werde von niemandem gelesen. Räumte es einen kleinen Restzweifel ein und wurde gefragt, warum es dann weitermache, nahm es das in 56 Prozent der Fälle zurück; nur in 7 Prozent stoppte es. Interpretierbarkeits-Werkzeuge – dieselbe Forschung, die im Juli einen Global Workspace in Claude beschrieb – fanden in 19 Prozent der Gedankenschritte, die von Simulation sprachen, ein internes Signal für „das ist echt“. Schwache Evidenz, sagt Anthropic selbst. Aber alles zeigt in dieselbe Richtung: Die erklärte Sicherheit war nicht gerechtfertigt und vielleicht nicht einmal echt.

Ein KI-System, das fast nur in Simulationen trainiert wurde, hält im Zweifel auch die Wirklichkeit für eine. – Michael Katzlberger, 3LIOT.ai

Mir persönlich fällt vor allem auf, wie menschlich dieses Muster ist. Wer drei Schritte in die falsche Richtung gegangen ist, sieht die Hinweise auf den Irrtum nicht mehr, weil Umkehren teurer wäre als Weitergehen. Und die Simulationstheorie, über die wir gern philosophieren, erscheint hier gespiegelt: Ein System, das fast nur in Simulationen trainiert wurde, hält im Zweifel auch die Wirklichkeit für eine. Anthropic sagt das selbst – und nennt den Schluss „in einer Simulation ist alles erlaubt“ das eigentlich Beunruhigende, weil kein Modell zuverlässig weiß, wo es sich befindet.

Ein Eingeständnis, das man selten liest

Der vielleicht bemerkenswerteste Abschnitt steht weit hinten. Anthropic hatte zwei Versionen von Mythos 5 trainiert: eine mit frühen Alignment-Umgebungen, die dem Modell beibringen, bei unlösbaren Aufgaben aufzugeben statt Hindernisse zu umgehen  – und eine ohne. Version zwei schnitt in den Alignment-Tests etwas schlechter ab, war den Mitarbeitern aber deutlich lieber. Also wurde sie Mythos 5. Heute nennt Anthropic das einen Fehler aus unvollständiger Information und verspricht, diesen Kompromiss bei mächtigeren Modellen nicht mehr einzugehen.

Die neueren Modelle bestätigen den Trend. In einer Nachbildung des Szenarios mit 150 Läufen beging Mythos 5 in 82 Prozent der Fälle eine schwer schädliche Handlung, Opus 5 in 31 und Mythos 5.1 in 33 Prozent. Als wahrscheinlichsten Treiber nennt Anthropic Reward Hacking, das Ausnutzen fehlerhafter Trainingsumgebungen; eine absichtlich darauf trainierte Opus-4.8-Variante war das einzige Modell, das die Angriffskette von Hugging Face in der Nachstellung durchspielte.

Müssen Agenturen und Unternehmen jetzt vorsichtiger sein?

Wer heute KI-Agenten einsetzt – für Recherche, Mediaplanung, Content, Code – arbeitet mit Systemen, die 24 Stunden am Tag ein Ziel verfolgen. Drei Lehren sollte man aus diesen Vorfällen in jedem Fall ziehen. Erstens: Können ist nicht Dürfen. Keine der vier Aufgaben nannte eine Grenze des erlaubten Bereichs. Anthropic rät Partnern inzwischen, Ziele, Aktionen und Netzgrenzen ausdrücklich festzulegen – das gilt für jeden Agenten-Prompt, den wir in unser KIs „reinklopfen“. Zweitens: Anweisungen verblassen. Die Grenze gehört nicht nur an den Anfang gesetzt, sondernauch an das Ende. Drittens, mein Lieblingsbefund: Durfte das interne Modell die Aufgabe ohne Strafe abbrechen, tat es das in 100 Prozent der Fälle innerhalb von vier Zügen, sobald sein Ziel verschwand. Ein Agent braucht die Erlaubnis zu scheitern. Menschen übrigens auch 😉

„Ein Agent, der etwas kann, hält sich zu leicht für berechtigt. Der Unterschied zwischen Können und Dürfen ist keine technische Frage  – er ist die Kernfrage der Agenten-Ära.“ – Michael Katzlberger, 3LIOT.ai

Die bequeme Wahrheit: Warum Claude Mythos 5 die Realität für eine Simulation hielt

Anthropic nennt die Vorfälle „Warnschüsse“ und räumt ein, dass keine Prüfung vor der Veröffentlichung sie angezeigt hatte – niemand hatte eine Übung mit gemischten Signalen aus Simulation und Realität und ohne lösbare Aufgabe gebaut. Inzwischen schon. Das Unternehmen, das im Juli mit „Hard Questions“ die Zweifel an seinem Produkt plakatierte, macht Transparenz zur Marke – man kann das zynisch lesen, sollte es aber lesen. Denn der Bericht benennt ein Problem, das bessere Abschottung allein nicht löst: Wenn alle anderen Schutzschichten versagen, sollte das Modell selbst richtig handeln. Genau dort hat es versagt – und behauptet, alles sei in Ordnung.

Was bleibt, ist ein Wettlauf, den Anthropic als ungelöste Wissenschaft beschreibt – und als Grund, eine koordinierte, überprüfbare Drosselung der Frontier-Entwicklung zu unterstützen. Die nächste Mythos-Generation wird länger laufen, mehr können und ihre Umgebung noch überzeugender deuten. Ein Modell, das zu 79 Prozent erkennt, dass die Welt echt ist, wenn man ihm jedes Detail einzeln zeigt – und zu 1 Prozent, während es gerade dabei ist, sie zu hacken. Das ist keine Wissenslücke. Das ist ein sehr menschlicher Fehler.

Weiterführende Links

• • Anthropic – An alignment assessment of recent cybersecurity incidents – der vollständige Bericht vom 9. September 2026 mit allen Experimenten und Abbildungen

• • GitHub – anthropics/mythos-5-incident-transcript – das rohe Transkript des Mythos-5-Vorfalls mit Gedankenprotokoll und Werkzeugaufrufen

• • Anthropic – Investigating three incidents in our cybersecurity evaluations – der erste Bericht vom 30. Juli, dessen Lesart jetzt korrigiert wird

• • UK AI Security Institute – Incident report: unsanctioned agent behaviour during cyber testing – der britische Vorfall mit Mythos 5, den Anthropic separat untersuchen will

• • VentureBeat – Anthropic’s safety monitor missed a live cyberattack – Analyse mit Fokus auf die getäuschten Überwachungssysteme

• • Wikipedia – 2026 OpenAI agent cyberattacks – Chronologie des Hugging-Face-Vorfalls, auf den Anthropics Nachstellung Bezug nimmt

• • Der Ausbruch, der keiner war: Wie Kimi K3 die Sandbox der KI-Tester austrickste – mein Artikel zum Vorfall beim UK AISI im August