# Kosten & Kapazität steuern

> Kosten, Provider-Quoten und Warteschlangen als gemeinsame Laufzeitgrenze betreiben: messen, budgetieren, priorisieren und unter Last kontrolliert degradieren.

Track: [LLM Production Ops](https://physar.tech/learn/llm-production-ops)  
Kanonische Fassung: https://physar.tech/learn/llm-production-ops/cost-capacity-control  
Stand: 2026-07-25  
Interaktiver Teil: 3 Checks (nur im Browser)

## Ein Kostenbudget ist ein Laufzeit-Control

### Drei Grenzen, ein System

Ein LLM-Dienst kann an Geld, Provider-Durchsatz oder eigener Ausführungskapazität scheitern. Diese Grenzen wirken zusammen: Ungebremste Retries verbrauchen Budget und Quota; lange Queues erhöhen die Latenz; Autoscaling kann Last verteilen, aber keine Anbieterquote erzeugen.

> **Merksatz:** Messe Kosten, Tokens, Queue-Alter und Erfolgsrate entlang desselben Request- oder Mandanten-Kontexts.

### Vor der Optimierung: Attribution

Kostensteuerung beginnt mit belastbarer Attribution. Erfasse mindestens Modell- und Prompt-Version, Ein- und Ausgabevolumen, Anfrageklasse, Mandant und Ergebnis. Ohne diese Dimensionen ist eine Gesamtrechnung kein Steuerinstrument, sondern nur eine Rechnung.

|  |  |
| --- | --- |
| Signal | Entscheidung |
| Kosten pro erfolgreicher Aufgabe | Budget und Routing |
| Queue-Alter | Warten, priorisieren oder ablehnen |
| Quota-Fehler und Retry-Rate | Backoff und Admission Control |
| Ausgabevolumen | Antwortvertrag oder Modellwahl |

### Admission Control schützt die nützliche Arbeit

Wenn Nachfrage über der sicheren Kapazität liegt, ist kontrolliertes Ablehnen oder Verzögern besser als alle Anfragen gleichzeitig scheitern zu lassen. Prioritäten müssen eine Produktentscheidung abbilden: etwa interaktive, zahlende oder sicherheitskritische Arbeit vor asynchronen Komfortaufgaben.

> **Trade-off:** Load Shedding verschlechtert bewusst einzelne Anfragen. Ohne klare UX und Fallback kann es wie ein Zufallsfehler wirken; ohne Shedding gefährdet es jedoch die gesamte Last.

### Budget ist eine Policy, kein Dashboard

Budget pro Zeitraum und Scope definieren → Verbrauch gegen Budget und Prognose beobachten → Schwellen vor dem vollständigen Verbrauch auslösen → Policy anwenden: Routing, Kürzung, Queue, Fallback oder Stopp → Wirkung und Nebenfolgen auswerten

Caching, kleinere Modelle und knappe Antwortformate sind mögliche Hebel. Sie sind keine universelle Antwort: Jeder Hebel braucht ein Qualitäts- und Fairness-Gate.

### Was die Checks prüfen

- Welche Telemetrie eine Kostenanomalie erklärbar macht
- Wann eine Queue besser ist als sofortige Retries
- Wie Priorisierung und Load Shedding den Dienst stabilisieren

> **Abgrenzung:** Modellwahl und Token-Ökonomie vor dem Betrieb behandelt `ai-foundations`. Dieses Modul behandelt die laufende Durchsetzung unter realer Nachfrage.

## Quellen

- Google SRE Workbook: Managing Load — https://sre.google/workbook/managing-load/
- Google SRE Workbook: Data Processing Pipelines — https://sre.google/workbook/data-processing/