LLM Production Ops

Gateway, Routing & Resilienz

Ein Provider antwortet mit 429, ungültige Requests werden trotzdem erneut gesendet und das automatische Failover schwenkt sogar bei permanenten Clientfehlern. Ohne Fehlerklassifikation wird das Gateway vom Schutzpunkt zum Verstärker einer Störung.

~25 Min · 12 Abschnitte Einführung · 8 Übungen (davon 0 Missionen)

Modul starten →

Fortschritt wird gespeichert — du kannst das Modul später jederzeit fortsetzen.

Nur den Lehrtext lesen →

Das kannst du danach

  • Danach kannst du die Verantwortung eines LLM-Gateways klar von fachlicher Anwendungslogik trennen.
  • Du klassifizierst Fehler nach Wiederholbarkeit, Idempotenz und Failover-Eignung.
  • Du weißt, wie Backoff, Jitter, Retry-Budgets und Circuit Breaker eine gemeinsame Resilienzpolicy bilden.

Übungen

  • 1. EntscheidungWie schneidest du die Verantwortung?
  • 2. EntscheidungWelche Struktur verhindert die Wiederholung am wirksamsten?
  • 3. EntscheidungWie stellst du die Retry-Regel um?
  • 4. EntscheidungWas ist die Ursache und die Korrektur?
  • 5. EntscheidungWie bewertest du diesen Routing-Entwurf?
  • 6. EntscheidungWie definierst du die Schwenk-Bedingung?
  • 7. EntscheidungWelche Maßnahme adressiert die Situation am besten?
  • 8. EntscheidungWie behebst du das dauerhaft?
Quellen & Aktualität5 Primärquellen · zuletzt geprüft:
  1. 01RFC 9110 HTTP Semantics
  2. 02RFC 6585, Status 429
  3. 03Google SRE Book, Addressing Cascading Failures
  4. 04AWS Prescriptive Guidance, Circuit Breaker
  5. 05Google SRE Workbook, Managing Load

Verfasst von Julian Zentgraf