# Die intrinsischen Grenzen — Fehlermodi diagnostizieren > Next-Token-Training trägt neben Daten, Post-Training, Decoding und Aufgabendesign zu mehreren Fehlermodi bei. Diese Landkarte lehrt Diagnosen und Kontrollklassen; die Umsetzung liegt in den Nachbartracks. Track: [AI-Grundlagen](https://physar.tech/learn/ai-foundations) Kanonische Fassung: https://physar.tech/learn/ai-foundations/intrinsic-limits Stand: 2026-07-25 Interaktiver Teil: 8 Checks (nur im Browser) ## Die intrinsischen Grenzen — eine Landkarte der Fehlermodi ### Warum eine Landkarte statt einer Toolbox? Halluzination, Rechenfehler und Überkonfidenz wirken wie einzelne Bugs. In der Praxis entstehen Fehlermodi aber aus mehreren Schichten: Trainingsziel und Datenabdeckung, Post-Training, Decoding sowie Aufgaben- und Systemdesign wirken unterschiedlich zusammen. Dieses Modul ist bewusst eine **Landkarte, kein Heilmittel**: Es lehrt, Symptome einer Fehlerklasse zuzuordnen und die passende **Kontrollklasse** zu benennen. Die Umsetzung — etwa Grounding, Output-Contracts, Tooling oder Judge-Design — gehört in die Nachbartracks. > **Merksatz:** Vor jeder Maßnahme steht die Diagnose: **Welcher Fehler ist beobachtet, welche unabhängige Kontrolle kann ihn begrenzen?** ### Was Next-Token-Modelle tatsächlich tun Beim Training lernt ein Sprachmodell eine **Verteilung über mögliche nächste Tokens** im gegebenen Kontext. Beim Ausführen wählt oder sampelt ein Decoder daraus eine Fortsetzung. Das Ziel ist nicht selbst eine garantierte Wahrheitsprüfung und auch kein automatisch kalibrierter Pfad zum Eingestehen von Nichtwissen. Das erklärt eine wichtige Gefahr, aber nicht jede Ursache: Datenlücken können plausible Ergänzungen auslösen; Post-Training und accuracy-lastige Evals können Raten und Abstention beeinflussen; Decoding verändert Varianz. Daraus folgt weder, dass ein Modell stets erfindet, wenn ein Fakt fehlt, noch dass ein leistungsfähigeres Modell auf jedem Eval garantiert besser ist. > **Merksatz:** Flüssigkeit und Spezifität sind Eigenschaften einer **generierten Fortsetzung** — kein Messwert für Wahrheit oder Kalibrierung. ### Halluzination — Restfehler nach Schaden kontrollieren Bei fehlender oder schwacher Faktenbasis **kann** das Modell eine plausible Ergänzung erzeugen. Modellwahl, Temperatur und Instruktion können die beobachtete Fehlerquote verändern, sind aber keine Wahrheitsgarantie. Auch eine niedrige Rate ist keine Zusicherung für den einzelnen kritischen Fall. Lege Kontrollen deshalb nach Schadenshöhe und Nachweisbarkeit fest: belegte Fakten zur Laufzeit grounden, kritische Behauptungen gegen eine unabhängige Quelle prüfen und den verbleibenden Fehler auf repräsentativen Fällen testen. Ein Abstention-Pfad ist nützlich, wenn er trainiert und evaluiert wird — er entsteht nicht automatisch. Ein Paketname, eine API-Signatur oder ein RFC-Verweis kann syntaktisch plausibel sein und trotzdem nicht existieren, eine andere Identität meinen oder die falsche Semantik haben. Syntax beweist weder Registry-Eintrag noch API-Vertrag noch den Inhalt eines RFC-Abschnitts. Bekanntheit oder Häufigkeit sind kein Vertrauensschwellenwert. Eine zweite Aussage desselben oder eines anderen Modells ohne Quellenzugriff ist keine unabhängige Verifikation. Prüfe gegen Registry, offizielle API-Dokumentation und Originaltext. Package Confusion wird zum möglichen Angriffsvektor, wenn ein Angreifer einen **unregistrierten, wiederholt halluzinierten** Namen registriert — nicht durch jeden erfundenen Namen automatisch. > **Merksatz:** Modellwahl ist **eine Schicht**; jede Außenwelt-Referenz bleibt eine **Behauptung**, bis die passende Primärquelle sie belegt. ### Auditierbare Berechnung — Eingabe und Rechnung trennen LLMs können bei Arithmetik und mehrstufigen Aufgaben hilfreich sein; Dziri et al. untersuchten jedoch bestimmte Kompositionsaufgaben und fanden Verhalten, das mit Subgraph-Matching vereinbar ist. Das ist keine universelle Aussage, dass jedes Modell stets nur Muster abgleicht oder nie rechnet. Wo eine auditierbare Referenzrechnung nötig ist und ein kleiner Restfehler unakzeptabel bleibt, trenne **Interpretation** von **Berechnung**: Werte erfassen, Typen, Vollständigkeit und Grenzen gegen die Quelle validieren, dann in einer deterministischen Engine rechnen und Ergebnis plus Eingaben protokollieren. Fine-Tuning ist kein Korrektheitsvertrag für ungesehene Zahlenkombinationen. Genau fünf Elemente, Pflichtfelder, Datentypen oder Wertebereiche sind **Output-Contracts**: binäre, maschinenprüfbare Bedingungen für einen nachgelagerten Import. Prompting und Temperatur können Fehlerraten beeinflussen, erzwingen diese Vertragsregeln aber nicht. Modelloutput bleibt bis zur Maschinenprüfung untrusted. Der Nachbarcheck `prompt-output-format` lehrt, ein gewünschtes Format im Prompt klar zu spezifizieren. Hier geht es um eine andere Diagnose: Sobald Downstream-Code binär von Kardinalität, Pflichtfeldern, Typen oder Bereichen abhängt, darf diese Grenze nicht der probabilistischen Format-Treue überlassen werden. Die konkrete Umsetzung ist ein Handoff an die Nachbartracks. > **Merksatz:** Eine Engine rechnet nur relativ zu validierten Inputs exakt; binäre Downstream-Verträge brauchen eine **maschinengeprüfte Grenze**. ### Kalibrierung — ein Signal wird erst mit Labels messbar Kalibrierung fragt: Treffen Fälle mit einem Signal von etwa 0,8 auch in ungefähr 80 % der Fälle zu? Verbalisierte Selbstkonfidenz ist oft überkonfident und darf nicht roh als Gate dienen. Ton und Detailgrad sind ebenfalls keine hinreichenden Korrektheitssignale. Ein modellinternes oder modellabgeleitetes Signal kann nützlich sein, wenn es **modell- und aufgabenspezifisch** gegen repräsentative Labels kalibriert oder überwacht ist. Prüfe Trefferquoten je Bin, setze die Schwelle auf diesen Daten und überwache die Beziehung unter Drift. Die Güte wird extern gemessen, das Signal muss nicht extern entstehen. > **Merksatz:** Eine Zahl ist erst dann eine Wahrscheinlichkeit, wenn ihre Bins zu stabilen Trefferquoten passen — auch nach Änderungen. ### Sycophancy — Nutzermeinung als Confound behandeln Eine signalisierte Nutzermeinung kann die Antwort verfälschen: Zustimmung ist dann kein Beleg für Wahrheit. Forschung zu RLHF-Modellen zeigt, dass menschliche Präferenzen **teilweise** zu Sycophancy beitragen können; sie belegt keine einzige, universelle Ursache. Formuliere Fragen prämissen-neutral und teste bedeutungsgleiche Gegenframings. Ein Eval-Prompt ist ein Messinstrument: Robustheit heißt, dass das Urteil bei semantisch gleichem Gegenframing invariant bleibt. Neutralität verbessert die Messung, garantiert aber keine wahre Antwort. > **Merksatz:** Wenn die Nutzermeinung das Ergebnis bewegt, misst du möglicherweise **Echo statt Evidenz**. ### Positions-Bias — Diagnose und Übergabe, nicht Freigabe Kippt ein LLM-Judge sein Urteil, wenn nur A und B vertauscht werden, ist die Messung nicht invariant gegenüber einer sachlich irrelevanten Variable. Quantifiziere Swap-Konsistenz und Ausmaß auf repräsentativen Fällen. Der Judge ist damit noch nicht freigabefähig. Aus dem Kipp-Effekt folgt weder eine bewiesene Ursache in Training oder Attention noch eine garantierte Heilung durch ein größeres Judge-Modell. Größere Modelle können einzelne Evals verbessern. Das Kontrolldesign und die Validierung gegen Referenzlabels gehören in den `evaluation`-Track. > **Merksatz:** Eine erkannte Verzerrung ist ein **Diagnoseergebnis**, keine Abnahme des Judges. ### Meta-Triage — kontrolliert variieren, dann zuordnen Eine Diagnose braucht kontrollierte Vergleiche. Beispiel: Ein Alert-Klassifizierer erhält zwei bedeutungsgleiche Incident-Beschreibungen, bei denen nur Satzbau und Synonyme variieren; Datenquelle, Modell, Decoding und Soll-Label bleiben gleich. Unterschiedliche Labels zeigen Empfindlichkeit gegenüber der Formulierung, beweisen aber noch keine interne Ursache. Teste andere Hypothesen in getrennten Paaren und ändere wieder nur einen Faktor. Halte Eingabevarianten, Soll-Labels und Reaktion fest; erst eine gezielte Folgeintervention stärkt oder verwirft die Arbeitshypothese. Ändern sich Modell, Kontext und Prompt zugleich, ist der beobachtete Effekt nicht mehr sauber zuordenbar. > **Merksatz:** Ändere **einen** Faktor, beobachte die Reaktion und behandle die Zuordnung zunächst als **Arbeitshypothese**. ### Gleich entscheidest du diese Achsen selbst In den nächsten acht Entscheidungen ordnest du Symptome einer Fehlerklasse und einer Kontrollklasse zu: Restfehler nach Schaden absichern, Referenzen belegen, Rechen- und Output-Grenzen validieren, Signale kalibrieren sowie Bias und Fehl-Diagnosen sichtbar machen. - **Halluzination**: Modellwahl ergänzen, Referenzen gegen Primärquellen prüfen - **Auditierbarkeit**: validierte Inputs, deterministische Rechnung, Output-Contract fail-closed - **Kalibrierung und Bias**: Signale gegen Labels messen, Confounds und Swap-Instabilität diagnostizieren - **Meta-Triage**: Kontrollvarianten und Labels vor einem gruppenweiten Eingriff > **Wo die Lösungen wohnen:** Die Implementierung liegt nebenan: Grounding und Abstention im `llmops`-Track, Output- und Prompt-Techniken im `prompt-engineering`-Track, Tool- und Code-Grenzen im `agentic-ai`-Track sowie Judge-Design im `evaluation`-Modul. Dieses Modul liefert die **Landkarte** für die richtige Übergabe. ## Quellen - Kalai et al. — Evaluating large language models for accuracy incentivizes hallucinations, Nature 2026 - Zhang et al. — R-Tuning: Instructing Large Language Models to Say ‘I Don’t Know’, NAACL 2024 - Spracklen et al. — We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs, USENIX Security 2025 - RFC 6750 — The OAuth 2.0 Authorization Framework: Bearer Token Usage, IETF 2012 - Dziri et al. — Faith and Fate: Limits of Transformers on Compositionality, NeurIPS 2023 - Gao et al. — PAL: Program-Aided Language Models, ICML 2023 - Scholak et al. — PICARD: Parsing Incrementally for Constrained Auto-Regressive Decoding from Language Models, EMNLP 2021 - Willard & Louf — Efficient Guided Generation for Large Language Models, arXiv preprint 2023 - Xiong et al. — Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation, ICLR 2024 - Sharma et al. — Towards Understanding Sycophancy in Language Models, ICLR 2024 - Wang et al. — Large Language Models are not Fair Evaluators, ACL 2024 - Ackerman et al. — A Novel Metric for Measuring the Robustness of Large Language Models in Non-adversarial Scenarios, Findings of EMNLP 2024 - Perez et al. — Discovering Language Model Behaviors with Model-Written Evaluations, ACL Findings 2023 - Shi et al. — Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge, arXiv preprint 2024 - Lewis et al. — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS 2020