physar / Agentic AI / Reliabilität & Betrieb

Reliabilität & Betrieb

Agenten produktionsreif machen: Verifikation, Idempotenz, Human-in-the-Loop, Kosten-Budgets, Observability, Failure-Modes, Agenten-Evaluation und Laufzeit-Guardrails.

Reliabilität & Betrieb: einen Agenten produktionsreif machen

Einführung · 7 Abschnitte · ~9 Min Lesezeit · Stand

Reliabilität ist Betrieb, nicht Prompt

Ein Agent ist ein nichtdeterministisches, verteiltes System mit Nebenwirkungen — kein Prompt. Produktionsreife entsteht nicht durch bessere Formulierung, sondern durch die Ops-Grundlagen: Verifikation, Idempotenz, Budgets, Observability und Guardrails — von der ersten Zeile an.

Verifizieren vor Vertrauen

Die Aktionen und Ausgaben eines Agenten — besonders nebenwirkende — gehören vor dem Wirksamwerden geprüft, nicht vertraut, weil sie „meistens richtig“ sind. Setz einen Verifikations-Schritt (Dry-Run, Test, unabhängige Prüfung) zwischen „Agent entscheidet“ und „Änderung wird angewendet“.

Retries & Idempotenz

Agenten und ihre Loops wiederholen Schritte (Timeout, Retry). Damit muss jede nebenwirkende Aktion idempotent oder retry-safe sein — sonst dupliziert ein Retry die Wirkung (der doppelt belastete Kunde). Der Fix sitzt im Aktions-/Tool-Design, nicht in der „Vorsicht“ des Modells.

Human-in-the-Loop — risikobasiert

Menschliche Freigabe ist eine knappe, wertvolle Kontrolle. Platziere sie an den wenigen hochriskanten/irreversiblen Entscheidungspunkten — nicht bei jeder Aktion. Flächendeckende Freigaben zerstören den Durchsatz und führen zu Rubber-Stamping: der Mensch winkt durch und prüft nicht mehr.

Budgets & Circuit Breaker

Ein Agenten-Endpoint ist eine kostenverursachende Ressource. Ohne Grenzen kann eine einzelne Aufgabe (ein Bug, ein Angreifer) die Kosten ins Unendliche treiben. Setz erzwungene Pro-Aufgabe-Budgets (max. Schritte/Tool-Aufrufe/Tokens) plus Circuit-Breaker, pro Client.

Beobachtbarkeit: die Trajektorie

Weil Fehlschläge nichtdeterministisch sind, kannst du sie nicht aus der Endausgabe debuggen. Trace die ganze Trajektorie — jeden Schritt, jede Tool-Eingabe/-Ausgabe, jede Entscheidung. Der Ablauf-Trace ist das einzige Mittel, einen Fehlschlag zu diagnostizieren und zu reproduzieren.

Failure-Modes, Eval & Guardrails — gleich im Check

Drei Bausteine schließen den Betrieb ab: ehrliches Scheitern (kann der Agent nicht abschließen, liefert er einen definierten Eskalations-Ausgang, keine erfundene Erledigung); Agenten-Evaluation (Erfolgsrate UND Trajektorie über viele Läufe, nicht ein Einzellauf); und Laufzeit-Guardrails (erzwungene Policy auf Aktionen, unabhängig vom Prompt — Defense in Depth).

Gelesen ist nicht geprüft: Im Modul entscheidest du die Fälle selbst und siehst danach, wo dein Urteil trägt.

8 Checks starten →

Modul-Aufbau

EINFÜHRUNGReliabilität & Betrieb: einen Agenten produktionsreif machen~9 Min
ADR-001VERIFIKATIONsenior
ADR-002IDEMPOTENZsenior
ADR-003HUMAN-IN-LOOPsenior
ADR-004KOSTEN-BUDGETsolide
ADR-005OBSERVABILITYsolide
ADR-006FAILURE-MODESsenior
ADR-007AGENT-EVALsenior
ADR-008GUARDRAILSprincipal

Quellen

  1. 01Building Effective Agents — Anthropic, 2024
  2. 02OWASP Top 10 for LLM Applications (2025) — LLM06 Excessive Agency, LLM10 Unbounded Consumption, LLM05 Improper Output Handling
  3. 03Reflexion: Language Agents with Verbal Reinforcement Learning — Shinn et al., 2023
  4. 04RAGAS: Automated Evaluation of Retrieval Augmented Generation — Es et al., 2023
  5. 05OWASP Top 10 for LLM Applications (2025) — LLM06 Excessive Agency
  6. 06Designing Data-Intensive Applications — Kleppmann, 2017 (Idempotenz & exactly-once-Semantik)
  7. 07OWASP Top 10 for LLM Applications (2025) — LLM10 Unbounded Consumption
  8. 08Praxis-Konsens aus Agenten-/LLM-Observability (Trajektorie-Tracing als primäres Diagnose-Artefakt); vgl. Building Effective Agents — Anthropic, 2024
  9. 09OWASP Top 10 for LLM Applications (2025) — LLM02 Sensitive Information Disclosure (für die Redaktions-Randnotiz)
  10. 10Allgemeines Ops-/Reliability-Prinzip: ehrliche Fehlerzustände statt stummer Fehlschläge (fail loud, verifizierbarer Abschluss) — kein spezifischer Fremdquellen-Anspruch
  11. 11Building Effective Agents — Anthropic, 2024 (Agenten über Erfolgsrate und Verhalten bewerten, nicht Einzel-Endantwort)
  12. 12Praxis-Konsens aus Agenten-Benchmarking: Erfolgsrate über viele Läufe plus Trajektorie-/Pfad-Bewertung wegen Nichtdeterminismus — kein spezifischer Fremdquellen-Anspruch
  13. 13OWASP Top 10 for LLM Applications (2025) — LLM06 Excessive Agency (In-Scope-Missbrauch, erzwungene Aktions-Kontrollen)
  14. 14OWASP Top 10 for LLM Applications (2025) — LLM05 Improper Output Handling (nur für die Output-Validierung als Mechanismus)

Verfasst von Julian Zentgraf