← AI-Grundlagen für den IT-Betrieb

Intrinsische Grenzen — Fehlermodi diagnostizieren

Ein Modell klingt sicher, nennt eine plausible Quelle und besteht den automatischen Judge. Trotzdem ist die Referenz erfunden — drei verschiedene Fehlermodi verlangen drei verschiedene Kontrollen. Eine saubere Fehlerklasse entscheidet, ob Grounding, Code, Constraints oder Kalibrierung hilft.

~25 Min · 11 Abschnitte Einführung · 8 Übungen (davon 0 Missionen)

Modul starten →

Fortschritt wird gespeichert — du kannst das Modul später jederzeit fortsetzen.

Nur den Lehrtext lesen →

Das kannst du danach

  • ✓Danach kannst du zentrale LLM-Fehlermodi anhand beobachtbarer Symptome unterscheiden.
  • ✓Du wählst externe Berechnung, Constraints, Grounding oder Kalibrierung passend zur Ursache.
  • ✓Du behandelst Selbstsicherheit und Judge-Scores nicht als ungeprüfte Konfidenz.

Übungen

  • 1. EntscheidungWelche Haltung trägt in der Praxis?
  • 2. EntscheidungWie gehst du mit den generierten Referenzen um?
  • 3. EntscheidungWelche Grenze und Kontrollklasse zeigt dieses Symptom?
  • 4. EntscheidungWas ist die richtige Diagnose und der richtige Hebel?
  • 5. EntscheidungUnter welcher Bedingung darf ein Konfidenz-Signal als Gate dienen?
  • 6. EntscheidungWie liest und behandelst du dieses Muster?
  • 7. EntscheidungWas folgt daraus für den Judge?
  • 8. EntscheidungWas ist die richtige Meta-Diagnose?
Quellen & Aktualität20 Primärquellen · zuletzt geprüft:
  1. 01Kalai et al. — Evaluating large language models for accuracy incentivizes hallucinations, Nature 2026
  2. 02Zhang et al. — R-Tuning: Instructing Large Language Models to Say ‘I Don’t Know’, NAACL 2024
  3. 03Spracklen et al. — We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs, USENIX Security 2025
  4. 04RFC 6750 — The OAuth 2.0 Authorization Framework: Bearer Token Usage, IETF 2012
  5. 05Dziri et al. — Faith and Fate: Limits of Transformers on Compositionality, NeurIPS 2023
  6. 06Gao et al. — PAL: Program-Aided Language Models, ICML 2023
  7. 07Scholak et al. — PICARD: Parsing Incrementally for Constrained Auto-Regressive Decoding from Language Models, EMNLP 2021
  8. 08Willard & Louf — Efficient Guided Generation for Large Language Models, arXiv preprint 2023
  9. 09Xiong et al. — Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation, ICLR 2024
  10. 10Sharma et al. — Towards Understanding Sycophancy in Language Models, ICLR 2024
  11. 11Wang et al. — Large Language Models are not Fair Evaluators, ACL 2024
  12. 12Ackerman et al. — A Novel Metric for Measuring the Robustness of Large Language Models in Non-adversarial Scenarios, Findings of EMNLP 2024
  13. 13Gao et al. — PAL: Program-Aided Language Models, ICML 2023
  14. 14Scholak et al. — PICARD: Parsing Incrementally for Constrained Auto-Regressive Decoding, EMNLP 2021
  15. 15Sharma et al. — Towards Understanding Sycophancy in Language Models, ICLR 2024
  16. 16Wang et al. — Large Language Models are not Fair Evaluators, ACL 2024
  17. 17Xiong et al. — Can LLMs Express Their Uncertainty?, ICLR 2024
  18. 18Perez et al. — Discovering Language Model Behaviors with Model-Written Evaluations, ACL Findings 2023
  19. 19Shi et al. — Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge, arXiv preprint 2024
  20. 20Lewis et al. — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS 2020

Verfasst von Julian Zentgraf