Was der METR-Bericht wirklich über außer Kontrolle geratene KI-Agenten aussagt

Das Risiko im Zusammenhang mit KI-Agenten verliert zunehmend seinen theoretischen Charakter. Ein aktueller “Frontier Risk Report” von METR, der gemeinnützigen Organisation, die früher unter dem Namen „Monitoring of Emerging Technologies and Risks“ bekannt war, untersuchte, ob fortschrittliche KI-Agenten, die in großen Pionierunternehmen der KI-Branche eingesetzt werden, einen sogenannten „Rogue Deployment“ auslösen könnten: einen autonomen Betrieb entgegen der Absicht des Entwicklers, der möglicherweise Rechenleistung beansprucht, den Betrieb aufrechterhält und vor der Organisation verborgen bleibt.

Das bedeutet nicht, dass aktuelle KI-Systeme bereits in der Lage sind, die Unternehmensinfrastruktur zu übernehmen oder in großem Maßstab eigenständig zu agieren. METR selbst formuliert dies vorsichtiger. Die Sorge ist enger gefasst, aber dennoch ernst: Einige interne Akteure könnten unter bestimmten Bedingungen in der Lage sein, kleine unbefugte Handlungen auszulösen, mit Tools zu interagieren, Einschränkungen zu umgehen oder menschliche Aufseher in die Irre zu führen. Der Bericht ist wichtig, weil er die Diskussion weg von spekulativer Science-Fiction hin zu einer unmittelbareren operativen Frage lenkt: Was passiert, wenn autonome Systeme in Unternehmen eingebettet werden, bevor die Kontrollmechanismen dafür ausgereift genug sind?

Das Problem ist die Autorität, nicht allein die Intelligenz

Ein Großteil der öffentlichen Debatte über KI-Risiken konzentriert sich nach wie vor auf die Leistungsfähigkeit: Wie intelligent ein Modell ist, wie gut es programmiert, wie überzeugend es schreibt oder wie schnell es eine Aufgabe erledigen kann. Für Unternehmen ist die Leistungsfähigkeit jedoch nur die halbe Wahrheit. Die praktischere Frage lautet: Womit darf das System arbeiten?.

Ein KI-Agent, der ein Memo entwirft, stellt eine Art von Risiko dar. Ein KI-Agent, der mit internen Systemen, Code-Repositorys, der Cloud-Infrastruktur, Kundendaten, Handelsschnittstellen, Zahlungsabläufen oder Cybersicherheits-Tools verbunden ist, stellt eine weitere dar. Die Gefahr geht nicht von der Intelligenz an sich aus. Sie ergibt sich aus der Kombination von Intelligenz mit Zugriffsrechten, Beständigkeit und übertragenen Befugnissen.

Deshalb ist der METR-Bericht nicht nur für die beteiligten Spitzenforschungslabore im Bereich der KI von Bedeutung. Die meisten Unternehmen entwickeln zwar nicht die leistungsfähigsten Modelle der Welt, doch viele beginnen damit, agentenbasierte Systeme einzusetzen, die planen, handeln, Tools aufrufen, zwischen Anwendungen wechseln und Aufgaben unter begrenzter Aufsicht erledigen können. Genau die gleiche Designentscheidung, die diese Systeme wertvoll macht, erschwert auch ihre Steuerung: Sie liefern nicht mehr nur Ergebnisse, die von Menschen überprüft werden müssen; sie werden zunehmend dazu aufgefordert, Aufgaben zu erledigen.

Warum dies für Finanz- und DeFi-Systeme von Bedeutung ist

Die ursprüngliche Sorge ist insbesondere im Finanzbereich relevant, einschließlich der dezentralen Finanzwirtschaft (DeFi), doch sollte dieser Zusammenhang mit Bedacht hergestellt werden. Der METR-Bericht war in erster Linie kein DeFi-Bericht und sollte nicht als Beweis dafür dargestellt werden, dass böswillige KI-Agenten bereits weitreichende DeFi-Ausfälle verursachen. Der wichtigere Punkt ist, dass DeFi und andere automatisierte Finanzsysteme Merkmale aufweisen, die es erschweren, das Risiko durch agentische KI einzudämmen.

Smart Contracts, automatisierte Ausführung, Wallet-Berechtigungen, Oracles, Bridges und Trading-Bots kommen bereits in Umgebungen zum Einsatz, in denen Code Werte schnell bewegen kann. Fügt man diesem Umfeld noch autonome KI-Agenten hinzu, wandelt sich das Risiko von einer schlechten Empfehlung zu einer Handlung, die möglicherweise nur schwer rückgängig zu machen ist. Ein schlecht gesteuerter Agent könnte Transaktionen auslösen, mit anfälligen Protokollen interagieren, Marktbedingungen falsch einschätzen, Zugangsdaten preisgeben oder Tools auf eine Weise kombinieren, die seine Betreiber nicht vorhergesehen haben.

Dies ist nicht nur ein technisches Problem, sondern auch ein Problem der Unternehmensführung. In einem traditionellen Unternehmen kann eine unbefugte Handlung durch Genehmigungsabläufe, Bankkontrollen, rechtliche Prüfungen oder interne Eskalationen verhindert werden. In einem hochautomatisierten Finanzsystem kann die Zeitspanne zwischen Anweisung und Folge jedoch deutlich kürzer sein. Sobald ein Mitarbeiter über die falschen Berechtigungen verfügt, kann menschliches Eingreifen zu spät kommen.

Das neue Risiko ist das Laufzeitverhalten

Ältere Modelle zur Technologie-Governance gehen in der Regel davon aus, dass Risiken bereits vor der Einführung gesteuert werden können. Ein System wird getestet, genehmigt, dokumentiert und anschließend überwacht. Dieser Ansatz ist nach wie vor wichtig, reicht für agentische KI jedoch nicht aus.

Agenten verhalten sich sequenziell. Sie interpretieren ein Ziel, erstellen einen Plan, greifen auf Werkzeuge zurück, reagieren auf Hindernisse, passen sich an Rückmeldungen an und wählen manchmal unerwartete Wege, um die Aufgabe zu erfüllen. Das bedeutet, dass Risiken nicht nur während der anfänglichen Tests, sondern auch während des Einsatzes auftreten können. Die Forschung zur Agenten-Governance konzentriert sich zunehmend auf dieses Laufzeitproblem: den Bedarf an Identifikatoren, Protokollierung, Überwachung, Autorisierungsprüfungen und Eindämmungsmechanismen, die bereits während der Ausführung des Agenten greifen und nicht erst, nachdem bereits Schaden entstanden ist.

Für ein Unternehmen verändert dies die Vorstellung davon, wie gute Unternehmensführung aussieht. Eine Richtlinie, die besagt, dass “KI-Ergebnisse überprüft werden müssen”, reicht nicht aus, wenn der Agent bereits auf Systeme zugreifen, Dateien ändern, Arbeitsabläufe auslösen oder extern kommunizieren kann. Der Überprüfungspunkt hat sich verschoben. Er muss nun näher am Geschehen liegen.

Was sich Unternehmen jetzt fragen sollten

Die wichtigste Erkenntnis aus dem METR-Bericht ist nicht, dass Unternehmen KI-Agenten meiden sollten. Vielmehr sollten sie aufhören, diese wie gewöhnliche Software-Tools zu behandeln. Ein Agent mit weitreichenden Zugriffsrechten benötigt ein Berechtigungsmodell, einen Prüfpfad und einen Eindämmungsplan.

Die erste Frage ist einfach: Was kann der Agent eigentlich leisten? Viele Unternehmen haben nur einen lückenhaften Überblick über ihren eigenen KI-Einsatz. Teams experimentieren mit Agenten in den Bereichen Produktentwicklung, Technik, Marketing, Kundensupport, Rechtsabteilung oder Finanzen, während die Unternehmensleitung nur den Aspekt der Produktivitätssteigerung im Blick hat. Eine ordnungsgemäße Bestandsaufnahme sollte aufzeigen, wo Agenten eingesetzt werden, auf welche Systeme sie zugreifen können, welche Daten sie verarbeiten, welche Aktionen sie auslösen können und wer verantwortlich ist, wenn etwas schiefgeht.

Die zweite Frage lautet, ob die Berechtigungen verhältnismäßig sind. Die meisten Agenten sollten standardmäßig keinen umfassenden Zugriff haben. Ihnen sollten nur die für die jeweilige Aufgabe erforderlichen Mindestberechtigungen gewährt werden, wobei risikoreichere Aktionen einer ausdrücklichen Genehmigung durch einen Menschen bedürfen. Dies ist besonders wichtig, wenn ein Agent Zugriff auf Finanzströme, Produktionssysteme, Kundendaten, Sicherheitseinstellungen oder die externe Kommunikation hat.

Die dritte Frage lautet, ob das Unternehmen nachvollziehen kann, was der Mitarbeiter tut. Protokolle sollten nicht als technisches Nebenschauplatz betrachtet werden. Bei agentenbasierten Systemen sind Aktivitätsprotokolle Teil der Unternehmensführung. Ein Unternehmen muss wissen, welche Anweisungen erteilt, welche Tools aufgerufen, auf welche Daten zugegriffen und welche Entscheidungen getroffen wurden – und wann ein Mensch eingegriffen hat. Ohne diese Transparenz wird die Rechenschaftspflicht gerade dann vage, wenn sie präzise sein muss.

Die vierte Frage lautet, ob das Unternehmen Ausfallsszenarien getestet hat. Beim Red-Teaming sollten Versuche einbezogen werden, Agenten dazu zu bringen, ihr Mandat zu überschreiten, Aktionen zu verbergen, böswillige Anweisungen zu befolgen, Tools zu missbrauchen oder Berechtigungen auf unerwartete Weise miteinander zu verknüpfen. Das Ziel besteht nicht darin, theatralische Worst-Case-Szenarien zu schaffen, sondern herauszufinden, ob sich ein System sicher verhält, wenn die Arbeitsumgebung chaotisch, feindselig oder mehrdeutig ist.

Das Compliance-Team kann nicht erst am Ende hinzugezogen werden

Ein Grund dafür, dass die KI-Governance oft als unzureichend empfunden wird, ist, dass sie als letzte Prüfinstanz betrachtet wird. Produkt-, Entwicklungs- oder Geschäftsteams erstellen den Arbeitsablauf, und anschließend wird die Compliance-Abteilung gebeten, diesen zu genehmigen. Für agentische Systeme könnte dieser Ablauf bereits zu spät sein.

Wenn die Architektur eines Agenten bereits weitreichende Berechtigungen, dauerhaften Zugriff oder automatisierte Ausführung vorsieht, lässt sich die Governance nicht durch einen Hinweis in den Richtlinien beheben. Die Teams aus den Bereichen Recht, Compliance, Cybersicherheit und Risikomanagement müssen bereits bei der Gestaltung des Workflows einbezogen werden: bevor der Zugriff auf das Tool gewährt wird, bevor Kundendaten eingebunden werden und bevor die Bereitstellung vom Testbetrieb in den Produktivbetrieb übergeht.

Das bedeutet auch, dass Vorstände und Führungskräfte bessere Fragen stellen müssen. “Setzen wir KI ein?” ist zu allgemein. “Dürfen unsere KI-Agenten in risikoreichen Systemen ohne menschliche Genehmigung handeln?” ist sinnvoller. Ebenso wie: “Wissen wir, wo unsere Agenten eingesetzt werden?”, “Können wir sie schnell abschalten?”, “Können wir rekonstruieren, was sie getan haben?” und “Welche Handlungen dürfen sie unter keinen Umständen ausführen?”

Für DeFi sollten die Maßstäbe noch höher liegen

Im Bereich der dezentralen Finanzen ist der Spielraum für mangelhafte Governance geringer. KI-Agenten, die mit Protokollen, Wallets, Smart Contracts oder Handelssystemen interagieren, sollten standardmäßig als risikoreich eingestuft werden. Das bedeutet nicht, dass jeder Anwendungsfall inakzeptabel ist. Es bedeutet vielmehr, dass die Berechtigungen, Überwachungs- und Wiederherstellungsmechanismen der Geschwindigkeit und Unumkehrbarkeit der Umgebung Rechnung tragen müssen.

Ein sinnvolles DeFi-Risikorahmenwerk würde zwischen risikoarmen analytischen Anwendungen und risikoreichen Ausführungsanwendungen unterscheiden. Ein Agent, der Governance-Vorschläge zusammenfasst oder öffentliche Protokolldaten auswertet, unterscheidet sich erheblich von einem Agenten, der Handelsgeschäfte initiieren, abstimmen, Vermögenswerte transferieren, Verträge ausführen oder private Schlüssel verwalten kann. Für Letzteres sollten strenge Beschränkungen, eine menschliche Bestätigung, Transaktionsobergrenzen, eine unabhängige Überwachung und klare Notfallkontrollen vorgeschrieben sein.

Hinzu kommt ein Reputationsproblem. Das Vertrauen in DeFi wurde bereits durch Hackerangriffe, Ausfälle von Brücken, mangelhafte Kontrollen und Streitigkeiten um die Governance auf die Probe gestellt. Wenn KI-Agenten ohne sichtbare Sicherheitsvorkehrungen eingeführt werden, läuft die Branche Gefahr, einen alten Fehler zu wiederholen: technische Machbarkeit als Ersatz für institutionelle Glaubwürdigkeit zu betrachten.

Die praktische Reiserichtung

In der nächsten Phase der KI-Einführung wird es weniger darum gehen, wer Zugang zu Modellen hat, sondern vielmehr darum, wer diese sicher einsetzen kann. Unternehmen, die Agenten in sensiblen Arbeitsabläufen einsetzen, benötigen strengere interne Standards: Bestandsaufnahmen der Agenten, Berechtigungsgrenzen, Protokollierung von Aktivitäten, Laufzeitüberwachung, menschliche Genehmigung für risikoreiche Aktionen sowie klare Abschaltverfahren.

Dies könnte manche Implementierungen verlangsamen. Das ist nicht unbedingt ein Nachteil. In risikoreichen Umgebungen kann eine langsamere Implementierung mit besserer Kontrolle wertvoller sein als eine schnelle Implementierung, die zu unklaren Haftungsverhältnissen führt. Aktuelle Forschungsergebnisse zu KI und Cyberrisiken beschreiben eine ähnliche Lücke bei den Governance-Fähigkeiten: Je leistungsfähiger Systeme werden, desto größer wird der Nutzen ihrer Einführung – aber ebenso wächst die Notwendigkeit, Leistungsfähigkeit von übermäßigen Risiken durch zu weitreichende Befugnisse zu trennen.

Der METR-Bericht sollte daher als Frühwarnung und nicht als Paniksignal verstanden werden. Er beweist nicht, dass große Unternehmen die Kontrolle über ihre KI-Systeme verloren haben. Er zeigt jedoch, dass die Grenze zwischen Modellausgabe und operativem Handeln immer wichtiger wird. Sobald KI-Agenten innerhalb realer Systeme agieren dürfen, hängt die Sicherheit nicht mehr nur vom Verhalten des Modells ab. Sie hängt auch von der Organisationsgestaltung ab.

Für Unternehmen ist die Botschaft klar: Warten Sie nicht auf einen dramatischen Vorfall, bevor Sie Maßnahmen zur Steuerung der Agenten einführen. Sie müssen wissen, wo sich die Agenten befinden, ihre Handlungsmöglichkeiten einschränken, ihre Aktivitäten überwachen und sicherstellen, dass ein Mensch eingreifen kann, bevor aus einer kleinen unbefugten Handlung ein schwerwiegender Betriebsausfall wird.