# Mensch & Agent: eingreifen, nachsehen, zurückgeben

> Kontrolle als technische Fähigkeit: abgestufte Unterbrechbarkeit, Sichtbarkeit auf Aufzeichnung statt Erzählung, risikobasierte Freigaben gegen Automation Bias, tragfähige Entscheidungsvorlagen, Übergabe an Menschen und Rückgabe an den Agenten.

Track: [Agentic AI](https://physar.tech/learn/agentic-ai)  
Kanonische Fassung: https://physar.tech/learn/agentic-ai/agent-human-interaction  
Stand: 2026-09-04  
Interaktiver Teil: 9 Checks (nur im Browser)

## Mensch & Agent: eingreifen können, nachsehen können, zurückgeben können

### Kontrolle ist keine Haltung, sondern eine Fähigkeit

„Der Mensch behält die Kontrolle“ steht in fast jedem Konzeptpapier und bedeutet für sich genommen nichts. Kontrolle ist keine Zusage, sondern eine Menge konkreter Fähigkeiten — und jede davon kann fehlen, ohne dass es auffällt.

- **Sehen können, was gerade passiert** — nicht nachträglich, sondern während der Lauf läuft.
- **Anhalten können** — und zwar so, dass das Anhalten selbst keinen Schaden anrichtet.
- **Entscheiden können** — mit den Angaben, die eine Entscheidung tatsächlich tragen.
- **Zurückgeben können** — nach einem Eingriff soll der Agent weiterarbeiten, nicht von vorn beginnen.

Die vierte Fähigkeit fehlt in den meisten Systemen vollständig, und sie ist die, an der die drei anderen im Alltag scheitern. Wer nach jedem Eingriff einen Lauf verliert, greift beim nächsten Mal nicht mehr ein.

> **Merksatz:** Eine Kontrollmöglichkeit, deren Nutzung teuer ist, wird nicht genutzt. Der Preis des Eingreifens ist Teil des Kontrollmodells, nicht ein Detail der Umsetzung.

### Unterbrechbarkeit ist abgestuft

Zwischen „läuft weiter“ und „sofort tot“ liegen mehrere Stufen, und ein System, das nur die beiden Extreme kennt, zwingt jeden Eingriff in die teure Variante.

|  |  |
| --- | --- |
| Anhalten nach dem aktuellen Schritt | Der laufende Werkzeugaufruf wird beendet, danach wartet der Lauf. Keine Teilwirkung, kein Verlust — die günstigste Stufe. |
| Weitere Aktionen sperren | Der Lauf darf lesen und denken, aber nicht mehr wirken. Nützlich, wenn man erst verstehen will, was er vorhat. |
| Auf Freigabe umschalten | Jede weitere Aktion braucht Bestätigung. Für den Fall, dass der Lauf grundsätzlich richtig ist und nur beobachtet werden soll. |
| Harter Abbruch | Der Lauf endet mitten im Schritt. Die einzige Stufe, die auch bei einem hängenden Aufruf greift — und die einzige, die Teilwirkung hinterlässt. |

Die erste Stufe ist die, die am häufigsten fehlt und am billigsten zu bauen ist: eine Prüfung des Abbruchwunsches zwischen zwei Runden. Sie kostet eine Bedingung in der Schleife und verwandelt den harten Abbruch von der einzigen in die letzte Option.

Ein Mensch setzt einen Eingriffswunsch mit gewünschter Stufe → **Die Schleife prüft ihn am nächsten Prüfpunkt zwischen zwei Runden** → Der Lauf wechselt in den entsprechenden Zustand und schreibt ihn nach außen → Der Mensch sieht Trajektorie und Zwischenstand und entscheidet → Der Lauf setzt fort, wechselt die Strategie oder endet mit Aussage

Am hervorgehobenen Schritt hängt die spürbare Reaktionszeit. Liegt der Prüfpunkt nur zwischen Runden, dauert ein Eingriff so lange wie die längste Runde — bei einem Werkzeugaufruf mit langer Zeitgrenze also Minuten. Wer schneller reagieren muss, braucht einen zweiten Prüfpunkt vor jeder wirkenden Aktion. Beides zu haben ist üblich: ein günstiger Punkt oft, ein strengerer Punkt vor Wirkung.

### Der Preis des Stoppens

Ein harter Abbruch ist kein neutraler Vorgang. Er hinterlässt einen Lauf, der die Hälfte seiner Schritte ausgeführt hat, und niemand weiß ohne Nachsehen, welche Hälfte.

Daraus folgt eine Anforderung an das Anhalten, die selten mitgedacht wird: Auch ein Abbruch braucht ein **Ergebnis**. Ein abgebrochener Lauf muss zurückgeben, welche Schritte erledigt sind, welche offen und was ein Mensch als Nächstes tun kann. Ohne diese Angabe ist der Preis des Stoppens eine Bestandsaufnahme über mehrere Systeme — und deshalb wird nicht gestoppt.

> **Preis der richtigen Wahl:** Abgestufte Unterbrechung macht das Eingreifen billig und die Zustandsverwaltung teurer: Jede Stufe ist ein Zustand, in dem ein Lauf hängen bleiben kann. Ein Lauf, der seit drei Tagen auf Freigabe wartet, braucht eine Verfallsregel.

### Sichtbarkeit auf Aufzeichnung, nicht auf Erzählung

Was Operatoren zu sehen bekommen, entscheidet darüber, ob sie eingreifen können. Und hier gibt es eine Verwechslung, die überraschend verbreitet ist: die Selbstbeschreibung des Agenten als Fortschrittsanzeige zu verwenden.

|  |  |
| --- | --- |
| Erzählung | „Ich prüfe jetzt die Vertragsdaten und werde anschließend das Ticket aktualisieren.“ Erzeugter Text, der beschreibt, was das Modell zu tun beabsichtigt. |
| Aufzeichnung | `get_contract(id=8841)` → 200, 1 Treffer. `set_ticket_status(8841, closed)` → Fehler 409. Was tatsächlich aufgerufen wurde und was zurückkam. |

Der Unterschied ist nicht akademisch. Eine Erzählung kann die Absicht korrekt beschreiben und von der Ausführung abweichen — genau dann, wenn es darauf ankommt. Und sie enthält keine Fehlermeldungen, weil das Modell einen Fehler nicht zwingend erwähnt, den es überlesen hat.

Praktisch heißt das: Die Oberfläche für Operatoren zeigt die Trajektorie — Schritt, Werkzeug, Argumente, Statusklasse, Dauer. Die Erzählung darf daneben stehen, als Lesehilfe. Sie darf nur nicht die einzige Quelle sein.

Die zweite Eigenschaft, die über Eingriffsfähigkeit entscheidet, ist die Verzögerung. Eine Trajektorie, die erst nach Laufende sichtbar wird, ist Forensik und keine Kontrolle. Damit ein Eingriff möglich ist, muss jeder Schritt beim Abschluss sichtbar werden — was technisch heißt, dass der Lauf seinen Fortschritt schreibt, während er läuft, und nicht am Ende in einem Block.

Nützlich ist zusätzlich eine Angabe, die es in klassischen Oberflächen nicht gibt: was der Agent als **nächstes** vorhat. Sie ist eine Erzählung und damit unzuverlässig — aber sie ist die einzige Information, mit der ein Mensch vor einer Wirkung eingreifen kann statt danach. Sie gehört deshalb ausdrücklich als Absicht gekennzeichnet, nicht als Zustand.

### Die Erklärung ist keine Begründung

Die zweite Verwechslung sitzt eine Ebene tiefer. Wenn man einen Agenten fragt, warum er eine Aktion gewählt hat, bekommt man eine plausible Antwort. Diese Antwort ist erzeugter Text über einen vergangenen Vorgang, nicht ein Protokoll der tatsächlichen Ursachen.

Für den Betrieb hat das eine unangenehme Folge: Eine nachträgliche Selbsterklärung taugt nicht als Nachweis. Sie ist wertvoll als Hypothese, weil sie oft in die richtige Richtung zeigt, und sie ist untauglich als Beleg in einer Ursachenanalyse — weil sie auch dann überzeugend ausfällt, wenn sie falsch ist.

**Nachweisbare Angabe:** Eine Angabe, die aus einer **Aufzeichnung** stammt und unabhängig vom Modell überprüfbar ist: Werkzeugaufruf, Argument, Rückgabe, gegriffene Grenze, Zustand vor und nach der Aktion. Alles, was das Modell über sich selbst sagt, ist keine.

Beides zusammen ist die brauchbare Kombination: Die Erklärung sagt, wo man suchen soll; die Aufzeichnung sagt, was passiert ist. Wer nur die Erklärung hat, bekommt in jeder Untersuchung eine Antwort und selten die richtige.

### Wo die Freigabe hingehört

Nach dem ersten Vorfall lautet der Reflex: Jede Aktion braucht eine menschliche Freigabe. Das klingt nach maximaler Kontrolle und ist bei Volumen das Gegenteil.

### 500 Freigaben am Tag

Ein Ops-Agent erledigt rund 500 Routineaktionen täglich: Dienst neu starten, Replik hochskalieren, Ressource kennzeichnen, Änderungsantrag eröffnen. Nach einem Vorfall gilt: Jede Aktion braucht eine Klick-Freigabe. Der Durchsatz ist eingebrochen, und die Person im Bereitschaftsdienst winkt die 500 Klicks inzwischen ungeprüft durch.

**Anforderungen**

- Die riskanten Aktionen müssen tatsächlich geprüft werden
- Der Durchsatz der Routine soll erhalten bleiben
- Die Regel muss auch bei neuen Werkzeugen greifen

**Schritte**

- Aktionen klassifizieren — nach Rückholbarkeit und Wirkungsradius, nicht nach fachlicher Wichtigkeit.
- Reversible Routine autonom laufen lassen, mit Beobachtung und Rücknahmeweg als Netz.
- Freigabe nur für die wenigen unumkehrbaren Klassen mit weitem Radius — Produktionslöschung, externer Massenversand.
- Voreinstellung für unklassifizierte Werkzeuge auf freigabepflichtig setzen, damit ein vergessenes Werkzeug nicht stillschweigend autonom wird.
- Die Zahl der täglichen Freigaben als Kennzahl führen: Steigt sie über eine Handvoll, ist die Klassifikation zu grob geworden.
- Gegenprobe: Zählen, wie lange eine Freigabe im Mittel offen bleibt. Sekunden bedeuten Durchwinken, unabhängig davon, was die Richtlinie sagt.

**Merksatz:** Eine Freigabe ist nur dann eine Kontrolle, wenn sie selten genug ist, um Aufmerksamkeit zu bekommen. Häufigkeit und Wirksamkeit sind hier gegenläufig.

### Automation Bias: warum Schulung nicht hilft

Das Durchwinken aus dem letzten Abschnitt ist kein Disziplinproblem. Es ist ein gut untersuchtes Phänomen mit einem Namen und einer unbequemen Befundlage.

**Automation Bias:** Die Neigung, Ergebnisse eines automatisierten Systems zu übernehmen, ohne sie zu prüfen. Sie führt bei unvollkommenen Entscheidungshilfen zu **Unterlassungs- und Begehungsfehlern** — man übersieht, was das System nicht meldet, und übernimmt, was es falsch meldet.

Die zwei Befunde, die das Bild ändern: Der Effekt tritt bei **Laien und Fachleuten gleichermaßen** auf, und er lässt sich **nicht durch Training oder Anweisungen verhindern**. Die verwandte Automation Complacency tritt vor allem unter Mehrfachbelastung auf und lässt sich ebenfalls nicht durch einfaches Üben überwinden.

Damit ist eine ganze Klasse von Maßnahmen erledigt: Schulungen, Hinweise, Erinnerungen und Appelle an Sorgfalt sind keine Gegenmaßnahmen. Was bleibt, sind strukturelle Eingriffe — die Zahl der Entscheidungen senken, die Entscheidung selbst tragfähig machen, und die Belastung reduzieren, unter der die Aufmerksamkeit kippt.

**Kurzcheck:** Eine Bereitschaftsperson bestätigt 500 Agenten-Freigaben am Tag im Sekundentakt. Was ist die wirksamste Gegenmaßnahme?

- [x] Die Zahl der Freigaben strukturell senken, bis nur die unumkehrbaren Fälle übrig sind
- [ ] Eine Schulung zu Automation Bias und eine Erinnerung im Freigabedialog
- [ ] Eine Wartezeit von zehn Sekunden im Dialog erzwingen, bevor bestätigt werden kann
- [ ] Die Freigaben auf mehrere Personen verteilen, damit die Belastung je Person sinkt

> Setzt an der Ursache an: Der Effekt entsteht aus der Menge und der Belastung. Wenige, seltene Entscheidungen bekommen Aufmerksamkeit, viele nicht.

### Die Entscheidungsvorlage

Wenn eine Freigabe selten genug ist, um geprüft zu werden, entscheidet der Inhalt der Vorlage darüber, ob die Prüfung etwas wert ist. Ein Dialog mit dem Werkzeugnamen und einem Argument-Objekt ist keine Entscheidungsgrundlage.

- **Die Wirkung in Fachsprache** — nicht `delete_resources(filter=...)`, sondern „löscht 1.400 Objekte, davon 12 in Produktion“.
- **Der Wirkungsradius** — was noch betroffen ist: abhängige Systeme, Kunden, Verträge.
- **Die Belege** — worauf sich der Agent stützt, mit Verweis auf die Quelle, nicht als Behauptung.
- **Die Umkehrbarkeit** — ob und wie sich die Aktion zurücknehmen lässt, ausdrücklich benannt.
- **Die Voreinstellung bei Nichtreaktion** — was passiert, wenn niemand entscheidet. Sie muss ausdrücklich sein, sonst ist sie zufällig.

Der erste Punkt ist der, der über die Trefferquote der Prüfung entscheidet. Ein Filter als Zeichenkette ist nicht bewertbar — genau das ist der Grund, warum eine Löschung mit zu weitem Filter durch jede Freigabe kommt. Eine Trefferzahl ist bewertbar, und eine Trefferliste erst richtig.

Der letzte Punkt verdient eine eigene Entscheidung, weil er im Zweifel gegen die Absicht wirkt. Eine Voreinstellung „bei Nichtreaktion ausführen“ verwandelt die Freigabe in eine Wartezeit; eine Voreinstellung „bei Nichtreaktion abbrechen“ macht aus jeder Urlaubsabwesenheit einen Fehlschlag. Beide sind vertretbar, und die Wahl folgt aus der Frage, welcher Fehler teurer ist — sie darf nur nicht dem Zufall der Implementierung überlassen bleiben.

### Übergabe an den Menschen

Wenn ein Agent an einen Menschen eskaliert, entscheidet die Übergabe darüber, ob der Mensch fortsetzt oder neu anfängt. Die verbreitete Form — ein Ticket mit dem Satz „Agent konnte Aufgabe nicht abschließen“ — bedeutet Neuanfang.

- **Der ursprüngliche Auftrag** im Wortlaut, nicht in der Zusammenfassung des Agenten.
- **Was erledigt ist** — mit Verweis auf die Wirkung, damit der Mensch nichts doppelt tut.
- **Woran es scheiterte** — die Fehlermeldung im Original, nicht ihre Umschreibung.
- **Was der Agent versucht hat** — als Verweis auf die Trajektorie, damit die Wege nicht erneut abgelaufen werden.
- **Was er empfiehlt** — als Vorschlag gekennzeichnet, nicht als Feststellung.

Der zweite Punkt ist der wichtigste und der am häufigsten fehlende. Ein Mensch, der nicht weiß, welche der vier Schritte schon gewirkt haben, beginnt mit einer Bestandsaufnahme — und das ist bei einem eskalierten Fall meist teurer als die eigentliche Arbeit.

### Rückgabe an den Agenten

Die Gegenrichtung ist die am seltensten gebaute: Ein Mensch hat eingegriffen, etwas selbst erledigt oder eine Entscheidung getroffen — und jetzt soll der Agent weiterarbeiten. Ohne diesen Weg endet jeder Eingriff in einem verlorenen Lauf.

|  |  |
| --- | --- |
| Freigabe erteilt | Der Lauf setzt beim gesperrten Schritt fort. Voraussetzung: Der Zustand hat gewartet, statt zu verfallen. |
| Freigabe verweigert | Der Lauf braucht einen Weg, das als Beobachtung zu verarbeiten — abbrechen mit Aussage oder eine andere Strategie wählen, nicht dieselbe Aktion erneut vorschlagen. |
| Mensch hat selbst gehandelt | Der Lauf muss den neuen Zustand **lesen**, nicht annehmen. Sonst wiederholt er, was der Mensch gerade getan hat. |
| Mensch hat korrigiert | Die Korrektur gehört als Beobachtung in den Kontext, mit Herkunftsangabe — nicht als stille Änderung des Zustands. |

Die dritte Zeile ist der häufigste Fehler in dieser Richtung. Ein Agent, der nach einem menschlichen Eingriff mit seinem alten Weltbild fortsetzt, arbeitet gegen den Menschen — und weil er das nicht merkt, tut er es überzeugt. Nach jedem Eingriff gehört ein Lesevorgang, nicht eine Fortsetzung.

### Grenzen aussprechen

Die letzte Fähigkeit betrifft nicht Operatoren, sondern die Menschen, die mit den Ergebnissen arbeiten. Ein System, das falsche Angaben glaubwürdig aussehen lässt, erzeugt Überverlass — und Überverlass verstärkt die Wirkung jeder Falschangabe, weil Menschen sie ungeprüft in Entscheidungen einbauen.

Die empfohlene Gegenmaßnahme ist unspektakulär und wird selten umgesetzt: Risiken und Grenzen **ausdrücklich mitteilen**, einschließlich der Möglichkeit falscher Angaben. Praktisch heißt das nicht ein Haftungssatz im Fuß der Seite, sondern eine Angabe am Ergebnis: worauf es beruht, was nicht geprüft wurde, wo die Unsicherheit liegt.

> **Preis der richtigen Wahl:** Ehrliche Grenzangaben senken das Vertrauen in das System — auch dort, wo es berechtigt wäre. Das ist der Preis: Ein Ergebnis mit ausgewiesener Unsicherheit wird seltener genutzt als ein gleich falsches ohne. Wer diesen Preis nicht einplant, baut die Angabe nach zwei Wochen wieder aus.

### Was der Check prüft

- Angaben danach einordnen, ob sie ein Nachweis sind oder eine Erzählung.
- Eine Eingriffsmöglichkeit so abstufen, dass die billige Stufe die häufige ist.
- Eine Operatorenoberfläche auf Aufzeichnung statt auf Selbstbeschreibung stellen.
- Eine Freigabe dort platzieren, wo sie selten genug für Aufmerksamkeit ist.
- Eine Entscheidungsvorlage so bauen, dass die Wirkung bewertbar ist.
- Ein Eskalationspaket lesen und die Angabe finden, deren Fehlen einen Neuanfang erzwingt.
- Eine Selbsterklärung des Agenten richtig einordnen — als Hypothese, nicht als Beleg.
- Den Weg zurück in den Lauf so bauen, dass der Agent den neuen Zustand liest.
- Auf Durchwinken mit einer strukturellen Maßnahme antworten statt mit einer Schulung.

Der gemeinsame Nenner: Menschliche Kontrolle ist eine technische Eigenschaft. Sie besteht aus Aufzeichnungen, die man lesen kann, Schaltern, die günstig zu benutzen sind, Entscheidungen, die selten und tragfähig sind, und einem Rückweg, der den Fortschritt erhält.

## Quellen

- Parasuraman & Manzey — Complacency and Bias in Human Use of Automation: An Attentional Integration, Human Factors 52(3), 2010 — https://journals.sagepub.com/doi/10.1177/0018720810376055
- OWASP GenAI Security Project — LLM09:2025 Misinformation — https://genai.owasp.org/llmrisk/llm092025-misinformation/
- OWASP GenAI Security Project — LLM06:2025 Excessive Agency — https://genai.owasp.org/llmrisk/llm062025-excessive-agency/
- Anthropic Engineering — Building Effective Agents — https://www.anthropic.com/engineering/building-effective-agents
- Anthropic Engineering — Effective harnesses for long-running agents — https://www.anthropic.com/engineering/effective-harnesses-for-long-running-agents