Prompt Injection – auch ohne Innentäter
Generative Systeme können durch manipulierte Eingaben zu unerwünschtem Verhalten gebracht werden. Besonders gefährlich ist die indirekte Prompt Injection: Nicht die Nutzereingabe, sondern ein verarbeitetes Dokument oder eine abgerufene Webseite enthält versteckte Anweisungen. Ein Agent, der eine eingehende E-Mail zusammenfassen soll, kann so dazu gebracht werden, Daten an eine fremde Adresse weiterzuleiten – ohne Zutun eines Innentäters und von klassischen Eingabefiltern nicht erfasst.
Unternehmen sollten Authentifizierung, rollenbasierte Zugriffssteuerung, Verwaltung von Zugangsgeheimnissen, Netzwerksegmentierung, Begrenzung von Schnittstellenaufrufen, Logging und Incident Response in die KI-Architektur integrieren. Zugangsschlüssel gehören nicht in Prompts oder offene Konfigurationen. Ein Agent sollte keine beliebigen Systembefehle, Webhooks oder Datenbankaktionen ausführen können, wenn der Anwendungsfall dies nicht zwingend erfordert. Red-Team- und adversariale Tests decken Schwachstellen vor dem Produktivbetrieb auf.
Grenzen gehören in den Code, nicht in den Prompt
Ein Assistent liefert einen Vorschlag – ein Agent übersetzt ihn in eine Handlung. Damit vervielfachen sich die Fehlerfolgen. Agenten brauchen deshalb ein Berechtigungsmodell nach dem Prinzip des geringstmöglichen Zugriffs: Ein Marketing-Agent braucht keinen Zugriff auf die Lohnbuchhaltung, ein Support-Agent keine Löschrechte in der Kundendatenbank. Für jeden Agenten lässt sich die Handlungsmacht in Stufen einordnen – von „nur lesen/analysieren" über „Entwürfe vorbereiten" bis zu „externe Kommunikation oder wirtschaftliche Vorgänge auslösen". Je höher die Stufe, desto stärker müssen Authentifizierung, Vier-Augen-Prinzip, Betragsgrenzen, Logging und Rückabwicklung sein.
Zentral: Was im Prompt steht, ist eine Bitte; was im Berechtigungssystem steht, ist eine Grenze. Ein Prompt „keine Zahlungen über 1.000 €" ersetzt kein technisches Limit. Sicherheitskritische Regeln müssen im deterministischen Anwendungscode oder im Rechtesystem verankert sein – außerhalb des probabilistischen Modells. Auch die Automatisierungsverzerrung ist zu beachten: Eine Freigabeschaltfläche, die in 99 von 100 Fällen zu Recht betätigt wird, verliert ihre Kontrollfunktion.
Wenn Agenten Verträge auslösen
Gibt ein Agent rechtsgeschäftliche Erklärungen ab (Bestellung, Preiszusage, Storno), stellen sich Zurechnungsfragen. Dogmatisch ist das keine Stellvertretung nach §§ 164 ff. BGB – die Erklärung wird dem Betreiber als eigene zugerechnet, weil er das System in Verkehr gebracht hat. Das ist strenger als die Stellvertretung: Der Betreiber kann sich nicht ohne Weiteres auf fehlende Vertretungsmacht berufen, wenn Geschäftspartner auf die Befugnis des Systems vertrauen dürfen. Eine Irrtumsanfechtung kommt allenfalls eng in Betracht und lässt nach § 122 BGB einen Vertrauensschadensersatz unberührt.
Ein Onlinehändler setzt einen Chatbot ein, der Kulanzgutschriften bis 50 € selbständig zusagen darf. Durch eine manipulierte Eingabe sagt der Bot mehrfach 500 € zu. Ob der Händler gebunden ist, hängt davon ab, wie der Bot nach außen präsentiert wurde – die interne Regel allein hilft nicht. Technisch wäre der Fall durch ein hartes Betragslimit in der Gutschriftenfunktion vermeidbar gewesen, das unabhängig vom Modellverhalten greift.
Sandbox, Kill Switch, Rollback – und ein Incident-Playbook
Agenten sollten vor produktiven Rechten in einer Sandbox getestet werden. Im Betrieb muss es möglich sein, Berechtigungen kurzfristig zu entziehen und einen Agenten zu stoppen – organisatorisch hinterlegt (wer darf das auch außerhalb der Geschäftszeiten?). Zu prüfen ist, welche Aktionen ihrer Natur nach nicht rückabwickelbar sind (versandte E-Mail, ausgeführte Zahlung); für sie ist die vorgelagerte Freigabe umso wichtiger.
Datenschutzrechtlich gelten die Meldepflichten wie bei jedem anderen System: Art. 33 DSGVO (Meldung binnen 72 Stunden) und Art. 34 DSGVO (Benachrichtigung Betroffener bei hohem Risiko). Für Einrichtungen unter dem BSI-Gesetz sind KI-Systeme in das gesetzliche Risikomanagement einzubinden. Ein KI-Incident-Playbook (auf zwei Seiten, mit Namen und Erreichbarkeiten) sollte sechs Schritte abdecken: Sofortmaßnahme (Abschaltung/Rechteentzug), Sicherung der Protokolle, Sachverhaltsfeststellung, rechtliche Bewertung der Meldepflichten mit Fristen, Information des Anbieters, Nachbereitung mit Ursachenanalyse.