← AI-Grundlagen für den IT-Betrieb

Capstone — die Achsen zusammen anwenden

Ein KI-Assistent soll aus Alarmen Maßnahmen ableiten und bei hoher Sicherheit selbst handeln. Im Capstone musst du entscheiden, welche Teile Modellarbeit sind und wo harte Systemgrenzen beginnen. Der Fall verbindet Wissenspfad, Eval, Tool-Policy, Vollkosten und stufenweisen Rollout.

~25 Min · 10 Abschnitte Einführung · 8 Übungen (davon 3 Missionen)

Modul starten →

Fortschritt wird gespeichert — du kannst das Modul später jederzeit fortsetzen.

Nur den Lehrtext lesen →

Das kannst du danach

  • ✓Danach kannst du eine KI-Anfrage entlang aller Grundlagenachsen triagieren.
  • ✓Du diagnostizierst schlechte Ergebnisse in einer belastbaren Reihenfolge.
  • ✓Du entwirfst einen kontrollierten Rollout mit messbaren Gates und klaren Trust Boundaries.

Übungen

  • 1. EntscheidungWie werden die beiden Wissensarten zugeführt?
  • 2. ReihenfolgeDie Einführung in der richtigen Reihenfolge
  • 3. DiagnoseManipuliertes Runbook vor der Wirkung
  • 4. MissionWas ist vertrauenswürdig, was nicht?
  • 5. EntscheidungWie triagierst du die Anfrage?
  • 6. EntscheidungIn welcher Reihenfolge gehst du vor?
  • 7. EntscheidungWie legst du die Kontrolle aus?
  • 8. EntscheidungWelche Kennzahl trägt die Rolloutentscheidung?

Arbeitsartefakte

Quellen & Aktualität18 Primärquellen · zuletzt geprüft:
  1. 01NIST — Artificial Intelligence Risk Management Framework 1.0
  2. 02NIST — Generative AI Profile, NIST AI 600-1
  3. 03Sculley et al. — Hidden Technical Debt in Machine Learning Systems, NeurIPS 2015
  4. 04Lewis et al. — Retrieval-Augmented Generation, NeurIPS 2020
  5. 05OWASP GenAI Security Project — LLM06:2025 Excessive Agency
  6. 06Model Context Protocol — Tools Specification
  7. 07Agrawal et al. — Sarathi-Serve, OSDI 2024
  8. 08Breck et al. — The ML Test Score: A Rubric for ML Production Readiness, IEEE Big Data 2017
  9. 09Amershi et al. — Software Engineering for Machine Learning: A Case Study, ICSE-SEIP 2019
  10. 10NIST AI Risk Management Framework (AI RMF 1.0), 2023 — Measure-Funktion
  11. 11Greshake et al. — Not What You've Signed Up For, AISec 2023
  12. 12Greshake et al. — Not What You've Signed Up For: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection, ACM AISec 2023
  13. 13OWASP Top 10 for Large Language Model Applications — Prompt Injection, Improper Output Handling
  14. 14NIST AI Risk Management Framework (AI RMF 1.0), 2023 — Map- und Manage-Funktionen
  15. 15Parasuraman, Sheridan & Wickens — A Model for Types and Levels of Human Interaction with Automation, IEEE SMC-A 2000
  16. 16Beyer et al. (Hrsg.) — Site Reliability Engineering, O'Reilly 2016, Kapitel Effective Troubleshooting
  17. 17NIST AI Risk Management Framework (AI RMF 1.0), 2023 — Manage-Funktion
  18. 18NIST AI RMF Core — MEASURE und MANAGE

Verfasst von Julian Zentgraf