B2Shift · Veröffentlicht 27. August 2026 · Aktualisiert 27. August 2026
Ein KI-Agent, der Aktionen ausführen kann – nicht nur Text generieren kann – übernimmt die Sicherheitsanforderungen dessen, womit er verbunden ist, sowie einige seiner eigenen. Die meisten Vorfälle sind auf einen zu weitreichenden Zugriff zurückzuführen, nicht auf das Modell selbst.
Der Zugriff mit den geringsten Rechten ist die Kontrolle, die am wichtigsten ist
Ein Agent sollte seine eigene Identität und seine eigenen eingeschränkten Berechtigungen besitzen, niemals die geliehenen Anmeldeinformationen eines Administrators. Gewähren Sie nur die Systeme und Felder, die für die jeweilige Aufgabe erforderlich sind. Eine spätere Erweiterung des Zugriffs ist eine Konfigurationsänderung; Die Feststellung, dass ein Agent nach einem Jahr in Betrieb unnötigen Zugriff hatte, ist ein Prüfproblem und keine schnelle Lösung.
Teilen Sie Aktionen nach Reversibilität auf, nicht danach, wie beeindruckend sie klingen
Das Lesen, Verfassen, Klassifizieren und Weiterleiten kann normalerweise unbeaufsichtigt erfolgen. Das Senden von Geld, die Veröffentlichung eines Preises, die Beantwortung einer Beschwerde unter Ihrem Namen oder das Löschen eines Datensatzes erfordern eine menschliche Genehmigungstür – oder zumindest ein Verzögerungsfenster, in dem eine Person eingreifen kann. Wenn jede Aktion gleich behandelt wird, werden entweder die nützlichen Fälle zu stark oder die gefährlichen Fälle zu stark eingeschränkt.
Überwachen Sie Abweichungen, nicht nur die Betriebszeit
Ein Agent kann technisch gesehen online sein und sich stillschweigend irren: Er antwortet mit veraltetem Wissen, klassifiziert einen wachsenden Anteil an Anfragen falsch oder verlässt seinen vorgesehenen Bereich, wenn sich vorgelagerte Systeme ändern. Die Überwachung muss die Ausgabequalität und Vertrauenstrends verfolgen und nicht nur, ob der Dienst reagiert.
Machen Sie jede Entscheidung nachvollziehbar
Jede Aktion sollte protokollieren, was sie ausgelöst hat, welchen Kontext sie verwendet hat, was sie entschieden hat, wie sicher sie ist, ob ein Mensch sie genehmigt hat und was sich dadurch geändert hat. Die OWASP Top 10 für LLM-Anwendungen dokumentieren die häufigsten Fehlerklassen – übermäßige Agentur, unsichere Ausgabeverarbeitung, schnelle Injektion –, anhand derer es sich lohnt, Ihr Design vor der Markteinführung zu überprüfen.
Der Umgang mit Vertrauen ist ein geplanter Weg, kein nachträglicher Einfall
Fälle mit geringem Vertrauen sollten ein explizites Ziel haben: eine benannte Person oder eine Überprüfungswarteschlange, niemals eine stille beste Vermutung. Der gewünschte Fehlermodus ist „Das ging an einen Menschen“; Diejenige, gegen die Sie entwerfen, lautet: „Das ging schief und niemand hat es drei Wochen lang bemerkt.“ Unter „KI-Agenten/KI-Mitarbeiter“ erfahren Sie, wie dies in einen Build integriert wird und wie Sie die KI-Automatisierung sicher und DSGVO-konform für den Datenschutzteil dieses Bildes halten.
Ihren Prozess besprechen