← AI-Grundlagen für den IT-Betrieb

Das Verhaltensmodell — wie Output entsteht

Ein scheinbar identischer Batch liefert andere Formulierungen und sprengt sporadisch ein Zeichenlimit. Wer Token, Sampling und Ausgabevalidierung verwechselt, diagnostiziert an der falschen Schicht. Erst ein Request-Trace trennt Modellvarianz von einem gebrochenen Systemcontract.

~25 Min · 10 Abschnitte Einführung · 9 Übungen (davon 1 Mission)

Modul starten →

Fortschritt wird gespeichert — du kannst das Modul später jederzeit fortsetzen.

Nur den Lehrtext lesen →

Das kannst du danach

  • ✓Danach kannst du Token-, Zeichen- und Kontextbudgets auseinanderhalten.
  • ✓Du erklärst Nichtdeterminismus und wählst Sampling-Parameter passend zur Aufgabe.
  • ✓Du baust Struktur- und Wissensanforderungen als Systemkontrollen statt als Hoffnung in den Prompt.

Übungen

  • 1. EntscheidungWas ist die belastbare Grundlage, um Batch-Größe und Kosten zu planen?
  • 2. EntscheidungWie wählst du die Temperatur?
  • 3. EntscheidungWas ist die richtige Diagnose und der richtige Hebel?
  • 4. EntscheidungWie löst du die 60-Zeichen-Grenze robust?
  • 5. EntscheidungWas ist die richtige Lesart — und die richtige Konsequenz?
  • 6. EntscheidungWie strukturierst du die Ausgabe?
  • 7. EntscheidungWie liest du diese souveräne Antwort?
  • 8. MissionEine Modellantwort sicher weitergeben
  • 9. EntscheidungWas ist die richtige Lesart des Symptoms?
Quellen & Aktualität23 Primärquellen · zuletzt geprüft:
  1. 01Sennrich, Haddow, Birch — Neural Machine Translation of Rare Words with Subword Units, ACL 2016 (BPE)
  2. 02Holtzman et al. — The Curious Case of Neural Text Degeneration, ICLR 2020 (Sampling/Temperatur)
  3. 03Goldberg — What Every Computer Scientist Should Know About Floating-Point Arithmetic, ACM Computing Surveys 1991
  4. 04Defeating Nondeterminism in LLM Inference — Thinking Machines Lab, 2025 (Batch-Invarianz)
  5. 05Wei et al. — Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, NeurIPS 2022
  6. 06Liu et al. — Lost in the Middle: How Language Models Use Long Contexts, TACL 2023
  7. 07Lewis et al. — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS 2020
  8. 08Ji et al. — Survey of Hallucination in Natural Language Generation, ACM Computing Surveys 2023
  9. 09Sennrich, Haddow & Birch — Neural Machine Translation of Rare Words with Subword Units, ACL 2016
  10. 10Vaswani et al. — Attention Is All You Need, NeurIPS 2017
  11. 11Holtzman et al. — The Curious Case of Neural Text Degeneration, ICLR 2020
  12. 12Liu et al. — Lost in the Middle: How Language Models Use Long Contexts, TACL 2024
  13. 13Scholak et al. — PICARD: Parsing Incrementally for Constrained Auto-Regressive Decoding, EMNLP 2021
  14. 14Petrov et al. — Language Model Tokenizers Introduce Unfairness Between Languages, NeurIPS 2023 (empirischer Sprachvergleich)
  15. 15Sennrich, Haddow, Birch — Neural Machine Translation of Rare Words with Subword Units, ACL 2016 (BPE-Mechanik)
  16. 16Holtzman et al. — The Curious Case of Neural Text Degeneration, ICLR 2020
  17. 17OpenAI API Reference — Parameter `temperature` (Sampling)
  18. 18Gekhman et al. — Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?, EMNLP 2024
  19. 19OpenAI — Byte-Pair-Encoding-Tokenizer (tiktoken), Dokumentation
  20. 20Kojima et al. — Large Language Models are Zero-Shot Reasoners, NeurIPS 2022 (Reasoning vor Antwort)
  21. 21Language Models are Few-Shot Learners — Brown et al., 2020
  22. 22Lost in the Middle: How Language Models Use Long Contexts — Liu et al., 2023
  23. 23Shi et al. — Large Language Models Can Be Easily Distracted by Irrelevant Context, ICML 2023

Verfasst von Julian Zentgraf