LLM Production Ops

Produktionsqualität, Drift & Feedback

Fehlerrate und Latenz sind grün, doch Nutzer beschweren sich über schlechtere Antworten. Ohne Referenzfenster, Laufzeit-Provenienz und eine gezielte Stichprobe bleiben Input-Drift, Modellwechsel und echte Regression ununterscheidbar.

~25 Min · 12 Abschnitte Einführung · 8 Übungen (davon 0 Missionen)

Modul starten →

Fortschritt wird gespeichert — du kannst das Modul später jederzeit fortsetzen.

Nur den Lehrtext lesen →

Das kannst du danach

  • Danach kannst du Proxy-Signale, Input- und Output-Drift ohne falschen Kausalitätsanspruch einsetzen.
  • Du trennst saisonale Veränderung, stille Modellverschiebung und releasebedingte Regression.
  • Du weißt, wie Traces risikobasiert in eine begrenzte Label-Queue und belastbare Bewertung gelangen.

Übungen

  • 1. EntscheidungWorauf setzt ihr als primäres Monitoring?
  • 2. EntscheidungWie definiert ihr den Drift-Alarm?
  • 3. EntscheidungWas ist der nächste Schritt, um die Ursache einzugrenzen?
  • 4. EntscheidungWie interpretierst du die Verschiebung — und was tust du zuerst?
  • 5. EntscheidungWie gehst du vor?
  • 6. EntscheidungWie änderst du die Auswahl?
  • 7. EntscheidungWie steuerst du die Bewertungsarbeit?
  • 8. EntscheidungWelche Haltung ist die richtige — Erkennung und Gegenmaßnahme?
Quellen & Aktualität5 Primärquellen · zuletzt geprüft:
  1. 01NIST AI RMF Core
  2. 02NIST AI 800-4, Monitoring Deployed AI Systems
  3. 03Google Cloud, Deploy and Operate Generative AI Applications
  4. 04Google SRE Workbook, Effective Troubleshooting
  5. 05OpenTelemetry Generative AI Semantic Conventions

Verfasst von Julian Zentgraf