KI-Agent: Automatisierung mit Werkzeugzugriff und ihre Grenzen

Ein KI-Agent ist ein System, das ein Sprachmodell mit Werkzeugen verbindet und damit mehrstufige Aufgaben bearbeitet. Statt nur Text auszugeben, kann es eine Datenbank abfragen, eine Datei schreiben, eine Schnittstelle aufrufen oder eine E-Mail versenden. Der Unterschied zu einer klassischen Automatisierung liegt darin, dass die Abfolge der Schritte nicht fest programmiert ist, sondern zur Laufzeit vom Modell bestimmt wird.

Wie ein Agent aufgebaut ist

Ein Agent besteht typischerweise aus dem Sprachmodell, einer Beschreibung der verfügbaren Werkzeuge, einer Schleife, die Ergebnisse zurückführt, und einer Abbruchbedingung. Das Modell entscheidet in jedem Durchlauf, welches Werkzeug es aufruft und mit welchen Parametern. Das Ergebnis fließt in den nächsten Schritt ein, bis die Aufgabe als erledigt gilt.

Diese Flexibilität ist zugleich die Ursache der wesentlichen Probleme. Da die Schrittfolge nicht vorab feststeht, ist sie auch nicht vorab prüfbar. Zwei Durchläufe derselben Aufgabe können unterschiedliche Wege nehmen und zu unterschiedlichen Ergebnissen führen. Für Prozesse, die reproduzierbar sein müssen, ist das eine erhebliche Einschränkung.

Fehlerfortpflanzung als zentrales Problem

Die praktisch wichtigste Grenze mehrstufiger Agenten ist die Verkettung von Fehlern. Jeder Einzelschritt hat eine gewisse Fehlerwahrscheinlichkeit, und diese Wahrscheinlichkeiten multiplizieren sich über die Kette. Ein Fehler in einem frühen Schritt wird von den folgenden Schritten nicht korrigiert, sondern als gegeben behandelt und weiterverarbeitet. Das Ergebnis ist dann intern schlüssig und trotzdem falsch.

Hinzu kommt, dass Agenten in Sackgassen geraten können: Sie wiederholen Aufrufe, interpretieren Fehlermeldungen falsch oder brechen eine Aufgabe ab, ohne dies klar zu kennzeichnen. Je länger die Kette und je weniger klar die Aufgabenstellung, desto ausgeprägter der Effekt. Aus diesem Grund sind kurze, eng umrissene Abläufe deutlich zuverlässiger als offene, langlaufende Aufgabenstellungen.

Wo der Einsatz im Mittelstand sinnvoll ist

Tragfähig sind Anwendungsfälle mit begrenzter Schrittzahl, klar definiertem Ziel und überschaubarer Fehlerwirkung.

• Eingehende E-Mails klassifizieren und einer Zuständigkeit zuordnen
• Daten aus Belegen auslesen und zur Prüfung in ein Vorerfassungssystem stellen
• Informationen aus mehreren internen Quellen zusammentragen und aufbereiten
• Entwürfe für Antworten erstellen, die vor dem Versand freigegeben werden
• Routineabfragen in Systemen ausführen und das Ergebnis strukturiert zurückliefern

Kritisch sind dagegen Schreibzugriffe auf führende Systeme, Zahlungsvorgänge, Vertragsabschlüsse und jede Kommunikation, die ohne Freigabe nach außen geht. Hier sollte der Agent vorbereiten, aber nicht abschließen.

Notwendige Absicherungen

Ein produktiv eingesetzter Agent braucht dieselbe Sorgfalt wie ein technischer Benutzer im Netzwerk. Dazu gehören ein eigenes Konto mit minimalen Rechten, eine Beschränkung auf die tatsächlich benötigten Werkzeuge und eine vollständige Protokollierung aller ausgeführten Aktionen. Ohne nachvollziehbares Protokoll ist im Fehlerfall nicht rekonstruierbar, was geschehen ist.

Sicherheitsrelevant ist zudem, dass Agenten Inhalte verarbeiten, die von außen stammen. Eine präparierte E-Mail oder ein manipuliertes Dokument kann Anweisungen enthalten, die das Modell als Aufgabe interpretiert. Dieses als Prompt Injection bekannte Problem ist nicht vollständig gelöst. Deshalb gilt: Je weitreichender die Werkzeugrechte eines Agenten, desto sorgfältiger muss geprüft werden, welche fremden Inhalte er überhaupt verarbeitet. Bei jedem Schritt mit erheblicher Wirkung sollte eine menschliche Freigabe zwischengeschaltet sein.

Typische Fehler

• Zu viele Werkzeuge und zu weitreichende Rechte von Anfang an
• Lange, unscharf formulierte Aufgabenketten statt eng abgegrenzter Teilaufgaben
• Keine Protokollierung der ausgeführten Aktionen
• Schreibender Zugriff auf produktive Systeme ohne Freigabeschritt
• Fehlende Abbruchbedingung, sodass Schleifen unbemerkt weiterlaufen
• Verzicht auf feste Programmierung dort, wo der Ablauf ohnehin immer gleich ist

• Ein Agent verbindet Sprachmodell und Werkzeuge; die Schrittfolge entsteht zur Laufzeit und ist nicht vorab prüfbar.
• Fehler pflanzen sich über die Kette fort und werden von späteren Schritten nicht korrigiert.
• Kurze, klar abgegrenzte Aufgaben sind deutlich zuverlässiger als offene Abläufe.
• Minimale Rechte, begrenzte Werkzeuge und lückenlose Protokollierung sind Voraussetzung für den Produktivbetrieb.
• Bei Aktionen mit erheblicher Wirkung bleibt eine menschliche Freigabe erforderlich.