# Reliabilität & Betrieb

> Agenten produktionsreif machen: Verifikation, Idempotenz, Human-in-the-Loop, Kosten-Budgets, Observability, Failure-Modes, Agenten-Evaluation und Laufzeit-Guardrails.

Track: [Agentic AI](https://physar.tech/learn/agentic-ai)  
Kanonische Fassung: https://physar.tech/learn/agentic-ai/agent-reliability  
Stand: 2026-07-22  
Interaktiver Teil: 8 Checks (nur im Browser)

## Reliabilität & Betrieb: einen Agenten produktionsreif machen

### Reliabilität ist Betrieb, nicht Prompt

Ein Agent ist ein **nichtdeterministisches, verteiltes System** mit Nebenwirkungen — kein Prompt. Produktionsreife entsteht nicht durch bessere Formulierung, sondern durch die Ops-Grundlagen: Verifikation, Idempotenz, Budgets, Observability und Guardrails — von der ersten Zeile an.

> **Grundhaltung:** Frag bei jeder Agenten-Aktion: Was, wenn dieser Schritt fehlschlägt, wiederholt wird, manipuliert wird oder endlos läuft? Die Antwort gehört ins System, nicht in eine Prompt-Bitte.

### Verifizieren vor Vertrauen

Die Aktionen und Ausgaben eines Agenten — besonders **nebenwirkende** — gehören **vor** dem Wirksamwerden geprüft, nicht vertraut, weil sie „meistens richtig“ sind. Setz einen Verifikations-Schritt (Dry-Run, Test, unabhängige Prüfung) zwischen „Agent entscheidet“ und „Änderung wird angewendet“.

> **Nicht nur Self-Check:** Self-Verifikation teilt die blinden Flecken des Agenten. Bei hohen Einsätzen eine **unabhängige** Prüfung oder einen Menschen — nicht Selbst-Review allein.

### Retries & Idempotenz

Agenten und ihre Loops **wiederholen** Schritte (Timeout, Retry). Damit muss jede nebenwirkende Aktion **idempotent oder retry-safe** sein — sonst dupliziert ein Retry die Wirkung (der doppelt belastete Kunde). Der Fix sitzt im Aktions-/Tool-Design, nicht in der „Vorsicht“ des Modells.

> **Idempotenz-Keys:** Idempotenz-Keys, „exactly-once“-Semantik oder Prüfen-vor-Handeln machen Retries sicher — damit man sie behalten kann, statt sie aus Angst abzuschalten.

### Human-in-the-Loop — risikobasiert

Menschliche Freigabe ist eine **knappe, wertvolle** Kontrolle. Platziere sie an den **wenigen** hochriskanten/irreversiblen Entscheidungspunkten — nicht bei jeder Aktion. Flächendeckende Freigaben zerstören den Durchsatz und führen zu **Rubber-Stamping**: der Mensch winkt durch und prüft nicht mehr.

> **Nach Risiko platzieren:** Dieselbe Logik wie bei menschlicher Evaluation: die knappe Aufmerksamkeit dorthin, wo ein Fehler teuer ist.

### Budgets & Circuit Breaker

Ein Agenten-Endpoint ist eine **kostenverursachende Ressource**. Ohne Grenzen kann eine einzelne Aufgabe (ein Bug, ein Angreifer) die Kosten ins Unendliche treiben. Setz **erzwungene Pro-Aufgabe-Budgets** (max. Schritte/Tool-Aufrufe/Tokens) plus Circuit-Breaker, pro Client.

> **Am Endpoint erzwingen:** Grenzen gehören an den Agenten/Endpoint, nicht in eine Prompt-Bitte „sei effizient“ (→ Security: Unbounded Consumption).

### Beobachtbarkeit: die Trajektorie

Weil Fehlschläge **nichtdeterministisch** sind, kannst du sie nicht aus der Endausgabe debuggen. Trace die **ganze Trajektorie** — jeden Schritt, jede Tool-Eingabe/-Ausgabe, jede Entscheidung. Der Ablauf-Trace ist das einzige Mittel, einen Fehlschlag zu diagnostizieren und zu reproduzieren.

> **Aber redigieren:** Traces können sensible Daten einfangen — redigieren und Zugriff minimieren (→ Security: Secrets in Logs).

### Failure-Modes, Eval & Guardrails — gleich im Check

Drei Bausteine schließen den Betrieb ab: **ehrliches Scheitern** (kann der Agent nicht abschließen, liefert er einen definierten Eskalations-Ausgang, keine erfundene Erledigung); **Agenten-Evaluation** (Erfolgsrate UND Trajektorie über **viele** Läufe, nicht ein Einzellauf); und **Laufzeit-Guardrails** (erzwungene Policy auf Aktionen, unabhängig vom Prompt — Defense in Depth).

> **Gleich im Check:** Du entscheidest jetzt selbst: Verifikation, Idempotenz, wo der Mensch hingehört, Budgets, Observability, Failure-Modes, Eval und Guardrails — die Achsen, die einen Agenten produktionsreif machen.

## Quellen

- Building Effective Agents — Anthropic, 2024
- OWASP Top 10 for LLM Applications (2025) — LLM06 Excessive Agency, LLM10 Unbounded Consumption, LLM05 Improper Output Handling
- Reflexion: Language Agents with Verbal Reinforcement Learning — Shinn et al., 2023
- RAGAS: Automated Evaluation of Retrieval Augmented Generation — Es et al., 2023
- OWASP Top 10 for LLM Applications (2025) — LLM06 Excessive Agency
- Designing Data-Intensive Applications — Kleppmann, 2017 (Idempotenz & exactly-once-Semantik)
- OWASP Top 10 for LLM Applications (2025) — LLM10 Unbounded Consumption
- Praxis-Konsens aus Agenten-/LLM-Observability (Trajektorie-Tracing als primäres Diagnose-Artefakt); vgl. Building Effective Agents — Anthropic, 2024
- OWASP Top 10 for LLM Applications (2025) — LLM02 Sensitive Information Disclosure (für die Redaktions-Randnotiz)
- Allgemeines Ops-/Reliability-Prinzip: ehrliche Fehlerzustände statt stummer Fehlschläge (fail loud, verifizierbarer Abschluss) — kein spezifischer Fremdquellen-Anspruch
- Building Effective Agents — Anthropic, 2024 (Agenten über Erfolgsrate und Verhalten bewerten, nicht Einzel-Endantwort)
- Praxis-Konsens aus Agenten-Benchmarking: Erfolgsrate über viele Läufe plus Trajektorie-/Pfad-Bewertung wegen Nichtdeterminismus — kein spezifischer Fremdquellen-Anspruch
- OWASP Top 10 for LLM Applications (2025) — LLM06 Excessive Agency (In-Scope-Missbrauch, erzwungene Aktions-Kontrollen)
- OWASP Top 10 for LLM Applications (2025) — LLM05 Improper Output Handling (nur für die Output-Validierung als Mechanismus)