LLM Production Ops

Erste Session

Erste Woche (Richtwert ~45 Min)

1. 1. Observability & Telemetrie~25 Min

Summe: ~25 Min

Das erste Modul wird immer vollständig eingeplant; deshalb kann die Summe über dem Richtwert liegen.

Zwischenziele

Praktisches Ergebnis

Danach kannst du ein requestbezogenes Telemetrieschema mit klaren Datenschutz- und Volumengrenzen entwerfen. · Du erkennst Brüche in Trace-Kontext, Sampling und Laufzeit-Provenienz. · Du weißt, wann ein Detail in eine Metrik, einen Trace oder ein kontrolliertes Log gehört. · Danach kannst du TTFT, Generierungsdauer, Queueing und Netzanteile getrennt budgetieren. · Du unterscheidest Streaming, Prefix-Reuse, exakte und semantische Antwort-Caches. · Du weißt, welche Korrektheits-, Isolations- und Invalidierungskosten jede Wiederverwendung mitbringt. · Danach kannst du API-Nutzung und Eigenbetrieb anhand der tatsächlich übernommenen Betriebsverantwortung abgrenzen. · Du erkennst KV-Cache-, Batching-, Nebenläufigkeits- und Warm-up-Grenzen. · Du weißt, wie unveränderliche Gewichte, Startup- und Readiness-Probes sowie getrennte Runtime-Upgrades zusammenspielen. · Danach kannst du die Verantwortung eines LLM-Gateways klar von fachlicher Anwendungslogik trennen. · Du klassifizierst Fehler nach Wiederholbarkeit, Idempotenz und Failover-Eignung. · Du weißt, wie Backoff, Jitter, Retry-Budgets und Circuit Breaker eine gemeinsame Resilienzpolicy bilden. · Danach kannst du Kosten und Kapazität auf Input-, Output- und Laufzeitarbeit statt bloße Requestzahlen beziehen. · Du erkennst Sättigung an Queue und Admission, bevor Nutzer nur noch Tail-Latenz sehen. · Du weißt, wie realistische Lastprofile, Reserve und priorisiertes Load Shedding zu einem Freigabegate werden. · Danach kannst du Mandantenidentität durch Autorisierung, Retrieval, Cache und Telemetrie verfolgen. · Du entwirfst faire Kontingente anhand tatsächlicher Arbeit statt bloßer Requestzahlen. · Du weißt, wann logische Isolation genügt und wann eine dedizierte Betriebszelle erforderlich ist. · Danach kannst du Proxy-Signale, Input- und Output-Drift ohne falschen Kausalitätsanspruch einsetzen. · Du trennst saisonale Veränderung, stille Modellverschiebung und releasebedingte Regression. · Du weißt, wie Traces risikobasiert in eine begrenzte Label-Queue und belastbare Bewertung gelangen. · Danach kannst du Frische, Vollständigkeit und Korrektheit als getrennte Pipeline-SLIs formulieren. · Du gestaltest Replay, Tombstones und Fortschrittsmarker so, dass Arbeit sicher wiederholt werden kann. · Du weißt, wie Neuaufbau und Embedding-Migration über versionierte Indizes, Vergleich und reversiblen Cutover laufen. · Danach kannst du Ein- und Ausgabeprüfungen an der fachlich wirksamen Stelle platzieren. · Du entscheidest Fail-open oder Fail-closed anhand der konkreten Wirkung statt eines globalen Defaults. · Du weißt, wie Schwellen, Policy-Versionen, SLIs, Deadlines und Kapazitätsgrenzen gemeinsam betrieben werden. · Danach kannst du alle verhaltenswirksamen Bestandteile unter einer unveränderlichen Release-ID zusammenführen. · Du unterscheidest Shadow, Canary, Kill-Switch und Rollback nach Nutzerwirkung und Beweisziel. · Du weißt, wie Kontrollgruppe, Stop-Grenzen und hermetische Referenzen einen reversiblen Rollout ermöglichen. · Danach kannst du Verfügbarkeit, Tail-Latenz und undegradierte Qualität als messbare SLIs abgrenzen. · Du baust handlungsfähige Alarme und Runbooks für verrauschte Qualitätssignale. · Du weißt, wie Incident-Schweregrad, Mitigation, Kommunikation und Postmortem ohne vorschnelle Ursachenbehauptung zusammenspielen.

Voraussetzungen

Der Katalog weist keine formalen Voraussetzungen aus — beim ersten sichtbaren Modul starten.

Pausieren & Fortsetzen

Nach jedem Modul kannst du pausieren und später fortsetzen. Ohne Konto hängt der gespeicherte Stand von den Browserdaten ab; mit Konto wird er geräteübergreifend synchronisiert.