← AI-Grundlagen für den IT-Betrieb

Embeddings, Retrieval & Grounding

Der Assistent antwortet flüssig mit einer veralteten Runbook-Version, obwohl die aktuelle im Index liegt. Ein höherer Modellpreis repariert weder das Ranking noch den fehlenden Quellenvorrang. Die Diagnose muss Kandidaten, finalen Kontext und tatsächlich verwendete Evidenz auseinanderhalten.

~25 Min · 11 Abschnitte Einführung · 8 Übungen (davon 0 Missionen)

Modul starten →

Fortschritt wird gespeichert — du kannst das Modul später jederzeit fortsetzen.

Nur den Lehrtext lesen →

Das kannst du danach

  • ✓Danach kannst du Embedding-Ähnlichkeit von Wahrheit und Konfidenz unterscheiden.
  • ✓Du wählst lexikalisches, semantisches oder hybrides Retrieval anhand der Query-Verteilung.
  • ✓Du diagnostizierst Retrieval und Generierung getrennt und erzwingst nachvollziehbaren Quellenvorrang.

Übungen

  • 1. EntscheidungWas ist der richtige Schluss?
  • 2. EntscheidungWas ist die richtige Umsetzung?
  • 3. EntscheidungWie bewertest du diesen Plan?
  • 4. EntscheidungWas ist der nächste Schritt?
  • 5. EntscheidungWie bewertest du den Schwellwert-Ansatz?
  • 6. EntscheidungWie löst du das?
  • 7. EntscheidungWie legst du die beiden Fragetypen aus?
  • 8. EntscheidungWie triffst du die Wahl?
Quellen & Aktualität20 Primärquellen · zuletzt geprüft:
  1. 01Mikolov et al. — Efficient Estimation of Word Representations in Vector Space, ICLR Workshop 2013
  2. 02Reimers & Gurevych — Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks, EMNLP 2019
  3. 03Robertson & Zaragoza — The Probabilistic Relevance Framework: BM25 and Beyond, Foundations and Trends in IR 2009
  4. 04Thakur et al. — BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models, NeurIPS 2021
  5. 05Lewis et al. — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS 2020
  6. 06Guu et al. — REALM: Retrieval-Augmented Language Model Pre-Training, ICML 2020
  7. 07Shuster et al. — Retrieval Augmentation Reduces Hallucination in Conversation, EMNLP Findings 2021
  8. 08NIST AI Risk Management Framework (AI RMF 1.0), 2023
  9. 09Reimers & Gurevych — Sentence-BERT, EMNLP-IJCNLP 2019
  10. 10Robertson & Zaragoza — The Probabilistic Relevance Framework: BM25 and Beyond, 2009
  11. 11Cormack, Clarke & Buettcher — Reciprocal Rank Fusion, SIGIR 2009
  12. 12Lewis et al. — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS 2020
  13. 13Thakur et al. — BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models, NeurIPS 2021
  14. 14Thakur et al. — BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of IR Models, NeurIPS 2021
  15. 15Rashkin et al. — Measuring Attribution in Natural Language Generation Models, Computational Linguistics 2023
  16. 16Beyer et al. (Hrsg.) — Site Reliability Engineering, O'Reilly 2016, Kapitel Effective Troubleshooting
  17. 17Ettinger — What BERT Is Not: Lessons from a New Suite of Psycholinguistic Diagnostics for Language Models, TACL 2020
  18. 18ISO/IEC 25012 — Data Quality Model (Aktualität, Konsistenz, Nachvollziehbarkeit)
  19. 19Schick et al. — Toolformer: Language Models Can Teach Themselves to Use Tools, NeurIPS 2023
  20. 20Muennighoff et al. — MTEB: Massive Text Embedding Benchmark, EACL 2023

Verfasst von Julian Zentgraf