# Einen Modellwechsel durchführen
Typ: Checkliste
Herkunft: prompt-engineering / prompt-testing-regression / eval-model-migration
Version: eval-model-migration-2026-09-04
Geprüft: 2026-09-04

ACHTUNG: Dieses Dokument ist ein Lernartefakt aus einer Schulungssequenz. Es ist kein produktives Runbook. Vor jeder Anwendung in einer realen Umgebung müssen die Schritte gegen lokale Dokumentation, Runbooks und Freigabestatus geprüft werden.

## Szenario
Das eingesetzte Modell wird abgekündigt; der Wechsel muss in vier Wochen stehen. Es gibt ein gepflegtes Eval-Set mit benannten Fehlerarten und einen Prompt, der über zwei Jahre auf das alte Modell eingestellt wurde. Beide Modelle sind während der Übergangszeit verfügbar.

## Schritte
1. Den unveränderten Prompt auf dem neuen Modell messen — die Modellwirkung isolieren, bevor etwas geändert wird.
2. Die Abweichungen nach der bestehenden Fehler-Taxonomie klassifizieren, statt sie als eine Zahl zu behandeln.
3. Je Befund einen Hebel anwenden und nach jeder einzelnen Änderung erneut messen.
4. Gegen die zurückgehaltenen Fälle prüfen, die während der Iteration nicht benutzt wurden.
5. Stufenweise umschalten, solange das alte Modell als Rückweg verfügbar ist.

## Begründung
Warum: Ein Modellwechsel ändert viele Größen gleichzeitig — deshalb wird zuerst ohne jede Anpassung gemessen, um die Modellwirkung zu isolieren, und danach je Befund einzeln geändert und nachgemessen.
Folgen: **+** Jede Anpassung ist einer Fehlerart zuordenbar, und die zurückgehaltenen Fälle zeigen, ob auf die Aufgabe oder auf das Set optimiert wurde. **−** Das Vorgehen braucht mehrere Eval-Durchgänge und damit Zeit, die bei vier Wochen Frist knapp ist — und es setzt voraus, dass beide Modelle parallel verfügbar bleiben, was nicht in deiner Hand liegt.

## Quellen
1. Miller, Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations, 2024 — https://arxiv.org/abs/2411.00640
2. Sclar et al., Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design, ICLR 2024 — https://arxiv.org/abs/2310.11324