← AI-Grundlagen für den IT-Betrieb

Qualität & menschliche Kontrolle

Eine Pilotdemo sieht gut aus, doch Reviewer schaffen nur ein Drittel der Fälle und bestätigen Vorschläge zunehmend ungelesen. Ohne Messdesign wird der Mensch zum Etikett statt zur Kontrolle. Ein formeller Human-in-the-loop ist wertlos, wenn Kapazität und unabhängige Evidenz fehlen.

~30 Min · 10 Abschnitte Einführung · 9 Übungen (davon 0 Missionen)

Modul starten →

Fortschritt wird gespeichert — du kannst das Modul später jederzeit fortsetzen.

Nur den Lehrtext lesen →

Das kannst du danach

  • ✓Danach kannst du ein präzisiertes Eval-Set und messbare Akzeptanzgrenzen entwerfen.
  • ✓Du kombinierst Offline-Evaluation, Produktionsstichproben und Regressionsgates.
  • ✓Du dimensionierst menschliche Kontrolle nach Risiko, Kapazität und Automatisierungs-Bias.

Übungen

  • 1. EntscheidungWas empfiehlst du als nächsten Schritt?
  • 2. EntscheidungWas änderst du?
  • 3. EntscheidungWie legst du die Autonomiegrade fest?
  • 4. EntscheidungWie stellst du die Kontrolle auf?
  • 5. EntscheidungWie reparierst du die Messung?
  • 6. EntscheidungWie führst du die Entscheidung herbei?
  • 7. EntscheidungWie gehst du die Fehlersuche an?
  • 8. EntscheidungWie stellst du das ab?
  • 9. EntscheidungWas schlägst du vor?
Quellen & Aktualität21 Primärquellen · zuletzt geprüft:
  1. 01Ribeiro et al. — Beyond Accuracy: Behavioral Testing of NLP Models with CheckList, ACL 2020
  2. 02Amershi et al. — Software Engineering for Machine Learning: A Case Study, ICSE-SEIP 2019
  3. 03NIST AI Risk Management Framework (AI RMF 1.0), 2023 — Measure-Funktion
  4. 04Beyer et al. (Hrsg.) — Site Reliability Engineering, O'Reilly 2016, Kapitel Service Level Objectives
  5. 05Parasuraman, Sheridan & Wickens — A Model for Types and Levels of Human Interaction with Automation, IEEE SMC-A 2000
  6. 06Parasuraman & Manzey — Complacency and Bias in Human Use of Automation: An Attentional Integration, Human Factors 2010
  7. 07NIST AI Risk Management Framework (AI RMF 1.0), 2023 — Govern- und Manage-Funktionen
  8. 08ISO/IEC 42001:2023 — AI management systems
  9. 09Breck et al. — The ML Test Score, IEEE Big Data 2017
  10. 10Ribeiro et al. — Beyond Accuracy: Behavioral Testing of NLP Models with CheckList, ACL 2020
  11. 11NIST — Generative AI Profile, NIST AI 600-1
  12. 12Parasuraman, Sheridan & Wickens — A Model for Types and Levels of Human Interaction with Automation, 2000
  13. 13Skitka, Mosier & Burdick — Does Automation Bias Decision-Making?, 1999
  14. 14NIST AI Risk Management Framework (AI RMF 1.0), 2023 — Manage-Funktion
  15. 15Parasuraman & Manzey — Complacency and Bias in Human Use of Automation, Human Factors 2010
  16. 16ISO/IEC 42001:2023 — AI management systems (Kontrollen und Überwachung)
  17. 17Sculley et al. — Hidden Technical Debt in Machine Learning Systems, NeurIPS 2015
  18. 18NIST AI Risk Management Framework (AI RMF 1.0), 2023 — Measure- und Manage-Funktionen
  19. 19Radford et al. — Robust Speech Recognition via Large-Scale Weak Supervision (Whisper), ICML 2023
  20. 20Breck et al. — The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction, IEEE Big Data 2017
  21. 21Skitka, Mosier & Burdick — Does Automation Bias Decision-Making?, International Journal of Human-Computer Studies 1999

Verfasst von Julian Zentgraf