Ein Kostenbudget ist ein Laufzeit-Control
Einführung · 5 Abschnitte · ~9 Min Lesezeit · Stand
Drei Grenzen, ein System
Ein LLM-Dienst kann an Geld, Provider-Durchsatz oder eigener Ausführungskapazität scheitern. Diese Grenzen wirken zusammen: Ungebremste Retries verbrauchen Budget und Quota; lange Queues erhöhen die Latenz; Autoscaling kann Last verteilen, aber keine Anbieterquote erzeugen.
Vor der Optimierung: Attribution
Kostensteuerung beginnt mit belastbarer Attribution. Erfasse mindestens Modell- und Prompt-Version, Ein- und Ausgabevolumen, Anfrageklasse, Mandant und Ergebnis. Ohne diese Dimensionen ist eine Gesamtrechnung kein Steuerinstrument, sondern nur eine Rechnung.
| Signal | Entscheidung |
|---|---|
| Kosten pro erfolgreicher Aufgabe | Budget und Routing |
| Queue-Alter | Warten, priorisieren oder ablehnen |
| Quota-Fehler und Retry-Rate | Backoff und Admission Control |
| Ausgabevolumen | Antwortvertrag oder Modellwahl |
Admission Control schützt die nützliche Arbeit
Wenn Nachfrage über der sicheren Kapazität liegt, ist kontrolliertes Ablehnen oder Verzögern besser als alle Anfragen gleichzeitig scheitern zu lassen. Prioritäten müssen eine Produktentscheidung abbilden: etwa interaktive, zahlende oder sicherheitskritische Arbeit vor asynchronen Komfortaufgaben.
Budget ist eine Policy, kein Dashboard
- Budget pro Zeitraum und Scope definieren
- Verbrauch gegen Budget und Prognose beobachten
- Schwellen vor dem vollständigen Verbrauch auslösen
- Policy anwenden: Routing, Kürzung, Queue, Fallback oder Stopp
- Wirkung und Nebenfolgen auswerten
Caching, kleinere Modelle und knappe Antwortformate sind mögliche Hebel. Sie sind keine universelle Antwort: Jeder Hebel braucht ein Qualitäts- und Fairness-Gate.
Was die Checks prüfen
- Welche Telemetrie eine Kostenanomalie erklärbar macht
- Wann eine Queue besser ist als sofortige Retries
- Wie Priorisierung und Load Shedding den Dienst stabilisieren