Grounding, Belege und Enthaltung

Zwei Wissensquellen, ein Text

Sobald du einem Modell Material mitgibst — ein Dokument, abgerufene Abschnitte, eine Richtlinie —, hat es zwei Quellen: das mitgegebene Material und das, was aus dem Training in seinen Gewichten steckt. Die Antwort, die zurückkommt, ist eine flüssige Mischung aus beidem und sagt nicht, welcher Satz woher stammt.

Das ist der Kern aller Probleme in diesem Modul. Eine Antwort, die zu 80 % aus dem Dokument und zu 20 % aus dem Trainingswissen kommt, liest sich genauso zuverlässig wie eine, die vollständig belegt ist. Und die 20 % sind gerade dort am gefährlichsten, wo sie am plausibelsten klingen — bei Fristen, Beträgen, Ausnahmen und Zuständigkeiten.

Grounding: die Antwort an den Kontext binden

Grounding — Die Anforderung, dass jede Tatsachenaussage einer Antwort auf das mitgegebene Material zurückführbar ist — und dass das Modell erkennbar macht, wenn sie das nicht ist. Grounding ist eine Anforderung an die Antwort, kein Merkmal des Modells.

Die Grounding-Instruktion hat drei Teile, und alle drei sind nötig. Sie benennt die Quelle — ausschließlich der Inhalt des markierten Feldes. Sie verlangt einen Beleg je Tatsachenaussage. Und sie gibt einen Ausgang für den Fall, dass das Material die Frage nicht abdeckt. Fehlt der dritte Teil, hat das Modell nur die Wahl zwischen Regelbruch und Erfindung — und es wählt die Erfindung, weil sie wie eine Antwort aussieht.

• Quelle benennen — nur der Inhalt des Feldes dokumente gilt als Grundlage, nicht Allgemeinwissen.
• Beleg verlangen — je Aussage eine Stelle, die sie stützt, nicht eine Quellenliste am Ende.
• Ausgang festlegen — was steht in der Antwort, wenn die Grundlage fehlt? Ein definierter Wert, kein bester Versuch.
• Und danach prüfen — die Instruktion senkt eine Rate; die Prüfung entscheidet.

Belege sind nicht automatisch Belege

Hier liegt der Befund, der die Erwartungen an Zitate zurechtrückt. Liu, Zhang und Liang haben vier generative Suchsysteme von Menschen bewerten lassen — mit dem Maßstab, ob sie umfassend und korrekt zitieren. Ergebnis: Nur 51,5 % der erzeugten Sätze waren vollständig durch ihre Zitate gestützt, und nur 74,5 % der Zitate stützten den Satz, dem sie zugeordnet waren.

Der zweite Teil des Befunds ist der wichtigere für die Praxis: Die Antworten waren flüssig und wirkten informativ — und enthielten trotzdem regelmäßig ungestützte Aussagen und unpassende Zitate. Die Autoren nennen die Werte bedenklich niedrig. Für dich heißt das: Die Anwesenheit einer Quellenangabe ist kein Nachweis, sondern eine Behauptung über einen Nachweis.

Was ein Nutzer sieht

Was tatsächlich gilt

Eine Aussage mit Quellenangabe

Die Angabe kann den Satz stützen oder nicht — beides sieht gleich aus.

Eine flüssige, gut strukturierte Antwort

Flüssigkeit korreliert nicht mit Beleglage.

Mehrere Quellen unter der Antwort

Eine Sammelliste sagt über keine einzelne Aussage etwas.

Keine sichtbaren Lücken

Ungestützte Aussagen sind im Text nicht markiert.

Ein Zitat prüfbar machen

Aus dem Befund folgt eine konkrete Formatentscheidung. Ein prüfbares Zitat besteht nicht aus einem Verweis auf ein Dokument, sondern aus zwei Angaben: einer wortwörtlichen Textstelle aus dem Material (belegstelle) und einem Ort, an dem sie steht (dokument_id plus Fundstelle). Erst diese Kombination lässt sich maschinell gegen die Quelle halten.

Form der Angabe

Maschinell prüfbar?

Quelle: Vertragsrichtlinie 2024

Nein — der Verweis nennt kein Prüfobjekt.

Quelle: Vertragsrichtlinie 2024, Abschnitt 4

Kaum — der Abschnitt kann alles enthalten.

Wörtliche Textstelle plus Dokument-ID und Fundstelle

Ja — die Stelle lässt sich im Quelltext suchen.

Wörtliche Textstelle plus Zeichenbereich

Ja, und zusätzlich eindeutig lokalisierbar.

Wenn die eingesetzte Plattform Zitate als eigene Funktion anbietet, ist das der günstigere Weg als eine selbstgebaute Konvention: Die Fundstellen kommen dann aus der Verarbeitung des Dokuments und nicht aus der Generierung — sie sind damit nicht Teil dessen, was das Modell erfinden kann. Anthropic bietet dafür Citations mit Fundstellen je Textabschnitt beziehungsweise Seite.

Zitate programmatisch verifizieren

Mit prüfbaren Zitaten wird die Verifikation billig: Für jede angegebene Textstelle prüft der Code, ob sie im angegebenen Quelldokument tatsächlich vorkommt. Aussagen, deren Stelle sich nicht finden lässt, werden verworfen oder als ungestützt markiert. Das ist eine Prüfung gegen ein externes Kriterium und damit von völlig anderer Art als eine Rückfrage an das Modell.

Und jetzt die Grenze, damit die Maßnahme nicht überschätzt wird: Ein wortwörtlich korrektes Zitat beweist, dass die Stelle existiert — nicht, dass die Aussage daraus folgt. Ein Modell kann korrekt zitieren und falsch schließen; genau diese Kategorie steckt in den 74,5 % aus der Untersuchung. Die Textstellenprüfung fängt die erfundene Fundstelle, nicht die falsche Ableitung.

• Fängt: erfundene Zitate, falsche Dokumentzuordnung, Textstellen, die es nicht gibt.
• Fängt nicht: korrektes Zitat mit unzutreffender Schlussfolgerung, aus dem Zusammenhang gerissene Passagen.
• Fängt nicht: Aussagen ohne Zitat, wenn nicht zusätzlich geprüft wird, dass jede Aussage eines hat.
• Restrisiko benennen — die verbleibende Fehlerart braucht Stichproben durch Menschen.

Enthaltung als erwünschtes Verhalten

Der Ausgang für fehlende Grundlage heißt Enthaltung — und der übliche Fehler ist, sie als Notausgang zu behandeln statt als reguläre Antwort. Eine Enthaltung braucht dieselbe Sorgfalt wie jede andere Ausgabe: eine feste Form, einen Grund und, wenn möglich, einen nächsten Schritt.

Bestandteil

Warum er nötig ist

Ein definierter Rückgabewert, etwa ein Feld status mit dem Wert unbelegt

Der Konsument muss Enthaltung von Antwort unterscheiden können — maschinell, nicht per Textmuster.

Ein benannter Grund

Fehlt die Grundlage, ist die Frage außerhalb des Bereichs, oder ist das Material widersprüchlich? Drei verschiedene Fälle.

Was der Nutzer tun kann

Eine Enthaltung ohne nächsten Schritt ist eine Sackgasse mit höflicher Formulierung.

Zählbarkeit

Die Enthaltungsquote ist eine der wichtigsten Kennzahlen des Systems.

Die letzte Zeile verdient Betonung. Eine Enthaltungsquote, die plötzlich steigt, zeigt eine Änderung im Material oder in den Fragen; eine, die bei null liegt, zeigt fast immer, dass die Enthaltung nicht funktioniert. Ein System, das nie sagt, dass es etwas nicht weiß, weiß nicht weniger — es sagt es nur nicht.

Teilabdeckung ist der häufigste Fall

In der Praxis ist die Lage selten eindeutig. Eine Frage hat drei Teilaspekte, das Material deckt zwei davon ab. Das ist der Normalfall, und es ist der Fall, für den in den meisten Prompts nichts festgelegt ist — also entscheidet das Modell, und es entscheidet meistens zugunsten einer vollständig aussehenden Antwort.

Die tragfähige Vorgabe: beantworten, was belegt ist, und die Lücke ausdrücklich benennen. Das ist besser als eine vollständige Enthaltung, weil es den vorhandenen Wert liefert, und besser als eine glatte Antwort, weil die Lücke sichtbar bleibt. Wichtig ist, dass die Lücke in der Ausgabe strukturell erscheint und nicht nur in einem Nebensatz — sonst liest sie niemand.

Widerspruch im Material

Ein eigener Fall, der oft mit fehlender Grundlage verwechselt wird: Das Material enthält zwei Aussagen, die sich widersprechen — eine alte und eine neue Richtlinie, zwei Abschnitte mit verschiedenen Fristen, ein Dokument und sein Anhang. Hier fehlt keine Grundlage, es gibt zu viel davon.

Die Entscheidung, die du treffen musst: melden oder auflösen. Auflösen setzt eine Regel voraus, die das Modell anwenden kann — etwa das jüngere Datum gewinnt, oder die höhere Dokumentenklasse gewinnt. Ist eine solche Regel im Material erkennbar, kann das Modell sie anwenden. Ist sie es nicht, ist Melden die einzige korrekte Antwort, und ein aufgelöster Widerspruch wäre eine verdeckte Entscheidung.

Konfidenz ist kein Gate

Der naheliegende Wunsch: Das Modell soll je Aussage eine Sicherheit angeben, und alles unter einer Schwelle wird zur Prüfung ausgeleitet. Das klingt nach einer sauberen Lösung und ist als Gate untauglich.

Xiong und Kollegen haben Verfahren zur Abfrage von Unsicherheit systematisch verglichen und finden: Modelle sind bei der verbalisierten Angabe ihrer Sicherheit tendenziell überkonfident — möglicherweise, weil sie menschliche Muster des Sicherheitsausdrucks imitieren. Ihre Gegenmaßnahmen mildern das, und keine setzt sich durchgängig durch; auf schwierigen, spezialisierten Aufgaben haben alle untersuchten Techniken Mühe.

Praktisch heißt das: Ein Gate auf selbstberichteter Sicherheit greift gerade dort nicht, wo du es brauchst — bei einer erfundenen, aber schlüssig wirkenden Aussage wird die berichtete Sicherheit typischerweise hoch sein. Als Sortierhilfe für Stichproben ist die Angabe brauchbar; als Freigabekriterium ist sie es nicht.

Was Grounding kostet

Damit die Empfehlung ehrlich bleibt: Grounding mit Belegpflicht und Enthaltung macht ein System unbequemer, und das ist kein Nebeneffekt, sondern der Preis. Wer ihn nicht einplant, baut die Maßnahmen ein und wieder aus.

Was du gewinnst

Was es kostet

Ungestützte Aussagen werden erkennbar

Die Antworten werden kürzer und vorsichtiger — Nutzer empfinden das als Rückschritt.

Die Enthaltungsquote wird messbar

Sie ist zunächst hoch und zeigt Lücken im Material, die jemand schließen muss.

Zitate werden maschinell prüfbar

Zusätzliche Ausgabe-Tokens je Aussage und ein Prüfschritt im Pfad.

Lücken werden sichtbar statt gefüllt

Es entstehen Fälle ohne Antwort, für die es einen Eskalationsweg braucht.

Grounding messen

Ohne Messung ist Grounding eine Absichtserklärung. Vier Größen genügen für den Anfang, und drei davon sind maschinell erhebbar: die Belegquote (Anteil der Aussagen mit auffindbarer belegstelle), die Zitattreue (Anteil der Zitate, die im angegebenen Dokument vorkommen), die Enthaltungsquote und — nur per Stichprobe — der Anteil der Aussagen, die aus ihrer Stelle tatsächlich folgen.

Die vierte Größe ist die teure und die einzige, die die Fehlerart aus der Untersuchung erfasst. Sie braucht Menschen, deshalb braucht sie eine Stichprobe mit Verstand — und deshalb gehört sie zusammen mit der Frage, wie oft und woraus man zieht. Wie man Fallmengen und Gates baut, behandelt das Modul Eval-Sets und Regressionstests.

Zusammenfassung — gleich im Check

Du kennst jetzt die Bestandteile: zwei Wissensquellen in einem Text, die Grounding-Instruktion mit Quelle, Beleg und Ausgang, den Befund, dass nur rund die Hälfte der Sätze vollständig gestützt war und ein Viertel der Zitate nicht passte, das prüfbare Zitat aus Textstelle und Fundstelle, die programmatische Verifikation samt ihrer Grenze, Enthaltung als Antwortart mit Form und Kennzahl, Teilabdeckung als Normalfall, den Widerspruch im Material — und dass Konfidenz kein Gate ist.