Der Index ist ein abgeleitetes Datenprodukt
Einführung · 5 Abschnitte · ~10 Min Lesezeit · Stand
Die relevante Grenze
Ein RAG-Index ist keine Kopie eines Ordners, sondern eine abgeleitete, durchsuchbare Projektion. Daher ist nicht nur der Upload wichtig: Parser, Chunking, Metadaten und Embeddings entscheiden, was auffindbar ist. Eine Antwort darf nur auf Inhalte zugreifen, die der anfragende Nutzer im Ursprungssystem sehen dürfte.
Aufnahme braucht einen nachvollziehbaren Vertrag
- Quelle identifizieren und abrufen
- Inhalt extrahieren und Qualität prüfen
- Dokument, Version und ACL-Metadaten speichern
- Chunks und Embeddings erzeugen
- Indexierung und Suchbarkeit bestätigen
Scheitert ein Schritt, darf das System nicht stillschweigend einen unvollständigen oder unlesbaren Inhalt als vertrauenswürdiges Wissen ausgeben. Quarantäne und ein sichtbarer Fehlerzustand sind oft besser als ein verdeckter Teilindex.
Berechtigungen gehören in den Retrieval-Pfad
Autorisierung nur vor dem Chatfenster zu prüfen reicht nicht. Die Anfrage muss beim Retrieval gegen Dokument- oder Chunk-Metadaten gefiltert werden. Bei feingranularen Rechten können Attribute von Subjekt, Objekt, Aktion und Kontext die Entscheidung bestimmen.
Änderung, Löschung und Nachweis
| Ereignis | Erforderliche Reaktion |
|---|---|
| Neue Dokumentversion | Alte und neue Version unterscheidbar machen, Reindexierung nachverfolgen |
| Berechtigung entzogen | Treffer sofort ausschließen; Index-Metadaten aktualisieren |
| Löschanforderung | Primärquelle und abgeleitete Chunks, Embeddings, Caches und Backups nach definierter Policy behandeln |
| Parser- oder Importfehler | Quarantäne, Alarm und reproduzierbarer Reprocessing-Pfad |
Löschung ist ein Workflow, kein einzelner Datenbankbefehl. Das Ziel ist belegbar zu wissen, welche abgeleiteten Kopien existieren und welcher Prozess sie innerhalb der zugesagten Frist entfernt oder unzugänglich macht.
Was die Checks prüfen
- Ob ein Berechtigungsmodell bis in die Suche durchgereicht werden muss
- Wann ein fehlerhafter Import quarantänisiert statt indexiert wird
- Warum Löschung und Versionswechsel einen vollständigen Ableitungsweg brauchen