physar / Data Engineering & Governance / Datenverträge, Qualität & Lineage

Datenverträge, Qualität & Lineage

Die fachliche Bedeutung, Qualität und Herkunft von Daten so kontrollieren, dass Downstream-Systeme sichere Entscheidungen treffen können.

Daten sind ein Vertrag über Bedeutung, Qualität und Herkunft

Einführung · 4 Abschnitte · ~8 Min Lesezeit · Stand

Ein Schema allein reicht nicht

Ein Feld kann formal ein String bleiben und fachlich trotzdem brechen: Zeitzone, Einheit, Null-Bedeutung oder Gültigkeitsbereich ändern sich. Ein Datenvertrag macht nicht nur Form, sondern auch Bedeutung, Eigentümerschaft und Änderungsregeln prüfbar.

PLATTFORMEN MACHEN SICHERE GRENZEN ZUR WIEDERHOLBAREN VOREINSTELLUNGIDENTITYwer darf handelnNETZWERKwer darf sprechenRESSOURCENwer darf verbrauchenRECOVERYwas muss zurückkommenKeine einzelne Schicht ersetzt die andere: sichere Defaults brauchen explizite und überprüfbare Grenzen.
Datenqualität entsteht an mehreren Grenzen: Produzent, Transport, Speicherung und konsumierende Entscheidung müssen dieselbe Bedeutung teilen.

Qualität ist ein Betriebszustand

VollständigkeitFehlen erwartete Ereignisse oder Felder?
GültigkeitEntsprechen Werte vereinbarten Bereichen und Semantiken?
AktualitätIst der Datenstand für die Entscheidung noch rechtzeitig?
LineageLässt sich erklären, aus welcher Quelle und Transformation ein Wert stammt?

Änderung braucht einen Verbraucherblick

  1. Vertrag und Verbraucher erfassen
  2. Änderung kompatibel entwerfen
  3. Qualität vor Übergabe prüfen
  4. Lineage dokumentieren
  5. Drift beobachten und zurückführen

Ein Produzent darf Daten nicht nur deshalb umdeuten, weil sein eigener Service funktioniert. Downstream-Abhängigkeiten und Zugriffsgrenzen gehören in dieselbe Änderungsentscheidung.

Gleich im Check

  • Eine fachliche von einer rein syntaktischen Schemaänderung unterscheiden
  • Qualitätsfehler isolieren statt unbemerkt weiterzugeben
  • Lineage und ACL als Voraussetzungen für kontrollierte Nutzung erkennen

Gelesen ist nicht geprüft: Im Modul entscheidest du die Fälle selbst und siehst danach, wo dein Urteil trägt.

0 Checks starten →

Modul-Aufbau

EINFÜHRUNGDaten sind ein Vertrag über Bedeutung, Qualität und Herkunft~8 Min

Quellen

  1. 01Google SRE Workbook: Data Processing Pipelines
  2. 02NIST SP 800-162: Guide to Attribute Based Access Control

Verfasst von Julian Zentgraf