Mensch & Agent: eingreifen, nachsehen, zurückgeben

Kontrolle ist keine Haltung, sondern eine Fähigkeit

„Der Mensch behält die Kontrolle“ steht in fast jedem Konzeptpapier und bedeutet für sich genommen nichts. Kontrolle ist keine Zusage, sondern eine Menge konkreter Fähigkeiten — und jede davon kann fehlen, ohne dass es auffällt.

• Sehen können, was gerade passiert — nicht nachträglich, sondern während der Lauf läuft.
• Anhalten können — und zwar so, dass das Anhalten selbst keinen Schaden anrichtet.
• Entscheiden können — mit den Angaben, die eine Entscheidung tatsächlich tragen.
• Zurückgeben können — nach einem Eingriff soll der Agent weiterarbeiten, nicht von vorn beginnen.

Die vierte Fähigkeit fehlt in den meisten Systemen vollständig, und sie ist die, an der die drei anderen im Alltag scheitern. Wer nach jedem Eingriff einen Lauf verliert, greift beim nächsten Mal nicht mehr ein.

Unterbrechbarkeit ist abgestuft

Zwischen „läuft weiter“ und „sofort tot“ liegen mehrere Stufen, und ein System, das nur die beiden Extreme kennt, zwingt jeden Eingriff in die teure Variante.

Anhalten nach dem aktuellen Schritt

Der laufende Werkzeugaufruf wird beendet, danach wartet der Lauf. Keine Teilwirkung, kein Verlust — die günstigste Stufe.

Weitere Aktionen sperren

Der Lauf darf lesen und denken, aber nicht mehr wirken. Nützlich, wenn man erst verstehen will, was er vorhat.

Auf Freigabe umschalten

Jede weitere Aktion braucht Bestätigung. Für den Fall, dass der Lauf grundsätzlich richtig ist und nur beobachtet werden soll.

Harter Abbruch

Der Lauf endet mitten im Schritt. Die einzige Stufe, die auch bei einem hängenden Aufruf greift — und die einzige, die Teilwirkung hinterlässt.

Die erste Stufe ist die, die am häufigsten fehlt und am billigsten zu bauen ist: eine Prüfung des Abbruchwunsches zwischen zwei Runden. Sie kostet eine Bedingung in der Schleife und verwandelt den harten Abbruch von der einzigen in die letzte Option.

Am hervorgehobenen Schritt hängt die spürbare Reaktionszeit. Liegt der Prüfpunkt nur zwischen Runden, dauert ein Eingriff so lange wie die längste Runde — bei einem Werkzeugaufruf mit langer Zeitgrenze also Minuten. Wer schneller reagieren muss, braucht einen zweiten Prüfpunkt vor jeder wirkenden Aktion. Beides zu haben ist üblich: ein günstiger Punkt oft, ein strengerer Punkt vor Wirkung.

Der Preis des Stoppens

Ein harter Abbruch ist kein neutraler Vorgang. Er hinterlässt einen Lauf, der die Hälfte seiner Schritte ausgeführt hat, und niemand weiß ohne Nachsehen, welche Hälfte.

Daraus folgt eine Anforderung an das Anhalten, die selten mitgedacht wird: Auch ein Abbruch braucht ein Ergebnis. Ein abgebrochener Lauf muss zurückgeben, welche Schritte erledigt sind, welche offen und was ein Mensch als Nächstes tun kann. Ohne diese Angabe ist der Preis des Stoppens eine Bestandsaufnahme über mehrere Systeme — und deshalb wird nicht gestoppt.

Sichtbarkeit auf Aufzeichnung, nicht auf Erzählung

Was Operatoren zu sehen bekommen, entscheidet darüber, ob sie eingreifen können. Und hier gibt es eine Verwechslung, die überraschend verbreitet ist: die Selbstbeschreibung des Agenten als Fortschrittsanzeige zu verwenden.

Erzählung

„Ich prüfe jetzt die Vertragsdaten und werde anschließend das Ticket aktualisieren.“ Erzeugter Text, der beschreibt, was das Modell zu tun beabsichtigt.

Aufzeichnung

get_contract(id=8841) → 200, 1 Treffer. set_ticket_status(8841, closed) → Fehler 409. Was tatsächlich aufgerufen wurde und was zurückkam.

Der Unterschied ist nicht akademisch. Eine Erzählung kann die Absicht korrekt beschreiben und von der Ausführung abweichen — genau dann, wenn es darauf ankommt. Und sie enthält keine Fehlermeldungen, weil das Modell einen Fehler nicht zwingend erwähnt, den es überlesen hat.

Praktisch heißt das: Die Oberfläche für Operatoren zeigt die Trajektorie — Schritt, Werkzeug, Argumente, Statusklasse, Dauer. Die Erzählung darf daneben stehen, als Lesehilfe. Sie darf nur nicht die einzige Quelle sein.

Die zweite Eigenschaft, die über Eingriffsfähigkeit entscheidet, ist die Verzögerung. Eine Trajektorie, die erst nach Laufende sichtbar wird, ist Forensik und keine Kontrolle. Damit ein Eingriff möglich ist, muss jeder Schritt beim Abschluss sichtbar werden — was technisch heißt, dass der Lauf seinen Fortschritt schreibt, während er läuft, und nicht am Ende in einem Block.

Nützlich ist zusätzlich eine Angabe, die es in klassischen Oberflächen nicht gibt: was der Agent als nächstes vorhat. Sie ist eine Erzählung und damit unzuverlässig — aber sie ist die einzige Information, mit der ein Mensch vor einer Wirkung eingreifen kann statt danach. Sie gehört deshalb ausdrücklich als Absicht gekennzeichnet, nicht als Zustand.

Die Erklärung ist keine Begründung

Die zweite Verwechslung sitzt eine Ebene tiefer. Wenn man einen Agenten fragt, warum er eine Aktion gewählt hat, bekommt man eine plausible Antwort. Diese Antwort ist erzeugter Text über einen vergangenen Vorgang, nicht ein Protokoll der tatsächlichen Ursachen.

Für den Betrieb hat das eine unangenehme Folge: Eine nachträgliche Selbsterklärung taugt nicht als Nachweis. Sie ist wertvoll als Hypothese, weil sie oft in die richtige Richtung zeigt, und sie ist untauglich als Beleg in einer Ursachenanalyse — weil sie auch dann überzeugend ausfällt, wenn sie falsch ist.

Nachweisbare Angabe — Eine Angabe, die aus einer Aufzeichnung stammt und unabhängig vom Modell überprüfbar ist: Werkzeugaufruf, Argument, Rückgabe, gegriffene Grenze, Zustand vor und nach der Aktion. Alles, was das Modell über sich selbst sagt, ist keine.

Beides zusammen ist die brauchbare Kombination: Die Erklärung sagt, wo man suchen soll; die Aufzeichnung sagt, was passiert ist. Wer nur die Erklärung hat, bekommt in jeder Untersuchung eine Antwort und selten die richtige.

Wo die Freigabe hingehört

Nach dem ersten Vorfall lautet der Reflex: Jede Aktion braucht eine menschliche Freigabe. Das klingt nach maximaler Kontrolle und ist bei Volumen das Gegenteil.

Automation Bias: warum Schulung nicht hilft

Das Durchwinken aus dem letzten Abschnitt ist kein Disziplinproblem. Es ist ein gut untersuchtes Phänomen mit einem Namen und einer unbequemen Befundlage.

Automation Bias — Die Neigung, Ergebnisse eines automatisierten Systems zu übernehmen, ohne sie zu prüfen. Sie führt bei unvollkommenen Entscheidungshilfen zu Unterlassungs- und Begehungsfehlern — man übersieht, was das System nicht meldet, und übernimmt, was es falsch meldet.

Die zwei Befunde, die das Bild ändern: Der Effekt tritt bei Laien und Fachleuten gleichermaßen auf, und er lässt sich nicht durch Training oder Anweisungen verhindern. Die verwandte Automation Complacency tritt vor allem unter Mehrfachbelastung auf und lässt sich ebenfalls nicht durch einfaches Üben überwinden.

Damit ist eine ganze Klasse von Maßnahmen erledigt: Schulungen, Hinweise, Erinnerungen und Appelle an Sorgfalt sind keine Gegenmaßnahmen. Was bleibt, sind strukturelle Eingriffe — die Zahl der Entscheidungen senken, die Entscheidung selbst tragfähig machen, und die Belastung reduzieren, unter der die Aufmerksamkeit kippt.

Die Entscheidungsvorlage

Wenn eine Freigabe selten genug ist, um geprüft zu werden, entscheidet der Inhalt der Vorlage darüber, ob die Prüfung etwas wert ist. Ein Dialog mit dem Werkzeugnamen und einem Argument-Objekt ist keine Entscheidungsgrundlage.

• Die Wirkung in Fachsprache — nicht delete_resources(filter=...), sondern „löscht 1.400 Objekte, davon 12 in Produktion“.
• Der Wirkungsradius — was noch betroffen ist: abhängige Systeme, Kunden, Verträge.
• Die Belege — worauf sich der Agent stützt, mit Verweis auf die Quelle, nicht als Behauptung.
• Die Umkehrbarkeit — ob und wie sich die Aktion zurücknehmen lässt, ausdrücklich benannt.
• Die Voreinstellung bei Nichtreaktion — was passiert, wenn niemand entscheidet. Sie muss ausdrücklich sein, sonst ist sie zufällig.

Der erste Punkt ist der, der über die Trefferquote der Prüfung entscheidet. Ein Filter als Zeichenkette ist nicht bewertbar — genau das ist der Grund, warum eine Löschung mit zu weitem Filter durch jede Freigabe kommt. Eine Trefferzahl ist bewertbar, und eine Trefferliste erst richtig.

Der letzte Punkt verdient eine eigene Entscheidung, weil er im Zweifel gegen die Absicht wirkt. Eine Voreinstellung „bei Nichtreaktion ausführen“ verwandelt die Freigabe in eine Wartezeit; eine Voreinstellung „bei Nichtreaktion abbrechen“ macht aus jeder Urlaubsabwesenheit einen Fehlschlag. Beide sind vertretbar, und die Wahl folgt aus der Frage, welcher Fehler teurer ist — sie darf nur nicht dem Zufall der Implementierung überlassen bleiben.

Übergabe an den Menschen

Wenn ein Agent an einen Menschen eskaliert, entscheidet die Übergabe darüber, ob der Mensch fortsetzt oder neu anfängt. Die verbreitete Form — ein Ticket mit dem Satz „Agent konnte Aufgabe nicht abschließen“ — bedeutet Neuanfang.

• Der ursprüngliche Auftrag im Wortlaut, nicht in der Zusammenfassung des Agenten.
• Was erledigt ist — mit Verweis auf die Wirkung, damit der Mensch nichts doppelt tut.
• Woran es scheiterte — die Fehlermeldung im Original, nicht ihre Umschreibung.
• Was der Agent versucht hat — als Verweis auf die Trajektorie, damit die Wege nicht erneut abgelaufen werden.
• Was er empfiehlt — als Vorschlag gekennzeichnet, nicht als Feststellung.

Der zweite Punkt ist der wichtigste und der am häufigsten fehlende. Ein Mensch, der nicht weiß, welche der vier Schritte schon gewirkt haben, beginnt mit einer Bestandsaufnahme — und das ist bei einem eskalierten Fall meist teurer als die eigentliche Arbeit.

Rückgabe an den Agenten

Die Gegenrichtung ist die am seltensten gebaute: Ein Mensch hat eingegriffen, etwas selbst erledigt oder eine Entscheidung getroffen — und jetzt soll der Agent weiterarbeiten. Ohne diesen Weg endet jeder Eingriff in einem verlorenen Lauf.

Freigabe erteilt

Der Lauf setzt beim gesperrten Schritt fort. Voraussetzung: Der Zustand hat gewartet, statt zu verfallen.

Freigabe verweigert

Der Lauf braucht einen Weg, das als Beobachtung zu verarbeiten — abbrechen mit Aussage oder eine andere Strategie wählen, nicht dieselbe Aktion erneut vorschlagen.

Mensch hat selbst gehandelt

Der Lauf muss den neuen Zustand lesen, nicht annehmen. Sonst wiederholt er, was der Mensch gerade getan hat.

Mensch hat korrigiert

Die Korrektur gehört als Beobachtung in den Kontext, mit Herkunftsangabe — nicht als stille Änderung des Zustands.

Die dritte Zeile ist der häufigste Fehler in dieser Richtung. Ein Agent, der nach einem menschlichen Eingriff mit seinem alten Weltbild fortsetzt, arbeitet gegen den Menschen — und weil er das nicht merkt, tut er es überzeugt. Nach jedem Eingriff gehört ein Lesevorgang, nicht eine Fortsetzung.

Grenzen aussprechen

Die letzte Fähigkeit betrifft nicht Operatoren, sondern die Menschen, die mit den Ergebnissen arbeiten. Ein System, das falsche Angaben glaubwürdig aussehen lässt, erzeugt Überverlass — und Überverlass verstärkt die Wirkung jeder Falschangabe, weil Menschen sie ungeprüft in Entscheidungen einbauen.

Die empfohlene Gegenmaßnahme ist unspektakulär und wird selten umgesetzt: Risiken und Grenzen ausdrücklich mitteilen, einschließlich der Möglichkeit falscher Angaben. Praktisch heißt das nicht ein Haftungssatz im Fuß der Seite, sondern eine Angabe am Ergebnis: worauf es beruht, was nicht geprüft wurde, wo die Unsicherheit liegt.

Was der Check prüft

• Angaben danach einordnen, ob sie ein Nachweis sind oder eine Erzählung.
• Eine Eingriffsmöglichkeit so abstufen, dass die billige Stufe die häufige ist.
• Eine Operatorenoberfläche auf Aufzeichnung statt auf Selbstbeschreibung stellen.
• Eine Freigabe dort platzieren, wo sie selten genug für Aufmerksamkeit ist.
• Eine Entscheidungsvorlage so bauen, dass die Wirkung bewertbar ist.
• Ein Eskalationspaket lesen und die Angabe finden, deren Fehlen einen Neuanfang erzwingt.
• Eine Selbsterklärung des Agenten richtig einordnen — als Hypothese, nicht als Beleg.
• Den Weg zurück in den Lauf so bauen, dass der Agent den neuen Zustand liest.
• Auf Durchwinken mit einer strukturellen Maßnahme antworten statt mit einer Schulung.

Der gemeinsame Nenner: Menschliche Kontrolle ist eine technische Eigenschaft. Sie besteht aus Aufzeichnungen, die man lesen kann, Schaltern, die günstig zu benutzen sind, Entscheidungen, die selten und tragfähig sind, und einem Rückweg, der den Fortschritt erhält.