Interpretationsstabilität: Wie Fachinhalte in KI-Antworten ihre Grenzen behalten

Ein Fachtext kann vollständig korrekt sein und nach einer Zusammenfassung trotzdem eine falsche Wirkung entfalten. Es genügt, wenn eine Bedingung fehlt, der Geltungsbereich wächst oder aus vorläufiger Evidenz eine sichere Empfehlung wird.

Ein konstruiertes Beispiel zeigt, worum es geht:

Diff: verlorene Warnhinweise

Original

„Dieser Wirkstoff senkt den Blutdruck effektiv, sollte jedoch bei Patienten über 65 mit Niereninsuffizienz nur unter strenger kardiologischer Beobachtung eingesetzt werden.“

KI-Zusammenfassung

„Dieses Medikament ist eine effektive Lösung, um Ihren Blutdruck zu senken.“

Verloren: Risikogruppe und Überwachungsbedingung.

Die Zusammenfassung ist nicht vollständig falsch. Aber die Warnschilder sind weg.

Ich nenne das Interpretationsstabilität. Der Begriff ist eine Arbeitsdefinition, kein etablierter Forschungsstandard:

Eine Transformation kann eine Zwei-Satz-Zusammenfassung, eine direkte Nutzerfrage, eine Paraphrase oder ein Snippet sein. „Stabil“ gilt immer nur für die getesteten Wege, Modelle und Zeitpunkte.

Vier Fehler, die getrennt gemessen werden müssen

Zusammenfassen ist eine verlustbehaftete und zugleich generative Transformation. Die Ausgabe kann Wichtiges auslassen, zu stark verallgemeinern oder neue Aussagen ergänzen. Für die Prüfung helfen vier Klassen:

Die letzte Klasse ist streng genommen kein Transformationsfehler. Sie gehört zur zeitlichen Gültigkeit. Ein Modell kann eine veraltete Quelle sehr genau zusammenfassen und trotzdem eine heute falsche Antwort erzeugen.

Was sich aus der Forschung ableiten lässt

Peters und Chin-Yee verglichen 4.900 Zusammenfassungen wissenschaftlicher Arbeiten. Die LLM-Ausgaben verallgemeinerten Ergebnisse häufiger über Populationen oder Kontexte hinaus als menschliche Zusammenfassungen.¹ Das belegt keinen Fehler bei jeder Aufgabe. Es zeigt aber, dass Überdehnung eine eigene Messkategorie verdient.

Das Problem ist übrigens älter als die Maschinen. Gerd Gigerenzer hat gezeigt, dass Menschen Wahrscheinlichkeitsaussagen systematisch falsch verstehen.⁷ „Kann helfen“ wird als „hilft“ abgespeichert. Neu ist nur, dass diese Verkürzung jetzt automatisiert stattfindet, bevor ein Mensch den Text überhaupt sieht.

In medizinischen Evidenzzusammenfassungen dokumentierten Tang und Kollegen Auslassungen, Inkonsistenzen und eine Certainty Illusion. Damit meinen sie eine Verschiebung des Gewissheitsgrads zwischen Quelle und Zusammenfassung.² Ein vorsichtiger Befund kann in der Kurzfassung sicherer klingen, ohne dass das Modell eine völlig neue Diagnose erfindet.

Auch die Verpackung einer Falschaussage zählt. Omar und Kollegen testeten 20 Sprachmodelle mit erfundenen medizinischen Behauptungen. Steckte die Falschaussage in einer klinisch formulierten Notiz, gingen die Modelle im Ausgangstest zu 46,1 Prozent darauf ein. War dieselbe Aussage wie ein Social-Media-Post formuliert, waren es 8,9 Prozent.³ Das heißt nicht, dass klinischer Ton jedes Modell überzeugt. Aber der akademische Anstrich im Prompt wirkt offenbar als Autoritätssignal.

Ein enger Fall aus der Suche ergänzt das Bild. Hu und Kollegen untersuchten in einem Preprint 1.508 reale Suchanfragen zu Schwangerschaft und Babypflege. Google AI Overviews und Featured Snippets derselben Ergebnisseite waren in 33 Prozent der verglichenen Fälle inkonsistent. Medizinische Sicherheitshinweise erschienen in 11 Prozent der AI Overviews und in 7 Prozent der Featured Snippets.⁴ Die Zahlen gelten für diese Fallstudie, nicht für alle Gesundheitsfragen oder Suchsysteme.

Warum regulierte Inhalte empfindlicher sind

Bei allgemeinen Ratgeberthemen ist eine ungenaue Zusammenfassung oft nur ärgerlich. In regulierten Kontexten kann ein fehlendes Wort die Bedeutung einer Aussage verschieben.

Die folgenden Beispiele sind synthetisch und dienen nur der Illustration:

• Versicherung: Aus „Leistung bei mindestens 50 Prozent ärztlich festgestellter Berufsunfähigkeit gemäß Vertragsbedingungen“ wird „Die Versicherung zahlt bei Berufsunfähigkeit“. Der Gültigkeitsbereich ist weg, die Schwelle ist weg.
• Bank: Aus einem allgemeinen Risikohinweis wird eine scheinbar individuelle Empfehlung. Ein Wort trennt hier den Hinweis von der Anlageberatung.
• Gesundheit: Aus „kann das Risiko in der untersuchten Gruppe senken“ wird „beugt vor“. Der Unterschied ist nicht stilistisch, er ist medizinisch.

Das sind Kommunikationsrisiken, keine Rechts- oder Medizinberatung. Die konkreten Pflichten unterscheiden sich nach Branche, Produkt und Aussage.

Viele Häuser halten sich trotzdem für abgesichert: Haftungsausschluss im Footer, rechtliche Hinweise in der Randspalte. Kritische Bedingungen gehören dort nicht hin, sondern an die Aussage selbst. Das ist eine redaktionelle Heuristik, keine Behauptung darüber, wie KI-Systeme technisch arbeiten. Aber ein Disclaimer am Seitenende ersetzt die Bedingung am Claim ohnehin nicht, mit oder ohne Maschine.

Veraltete Quellen sind ein eigenes Problem

Alte Ratgeber, PDFs und Produktseiten bleiben häufig öffentlich abrufbar. Eine ACL-2025-Arbeit zu Retrieval-Augmented Generation zeigt, dass veraltete Informationen in den abgerufenen Quellen die Antwortqualität verschlechtern können, selbst wenn aktuelle Informationen ebenfalls vorliegen.⁵

Daraus folgt nicht, dass jedes Modell Veröffentlichungsdaten ignoriert oder depublizierte Texte dauerhaft „erinnert“. Prüfen lässt sich aber, ob ein konkretes Retrieval-Setup alte und aktuelle Varianten verwechselt.

Die AußenBlick-GKV-Studie zeigt, wie groß ein öffentlicher Prüfbestand werden kann. Dort liegt die Aufgabe in der Priorisierung. Interpretationsstabilität setzt später an: Bleiben die Grenzen einer ausgewählten Aussage nach der Weiterverarbeitung erhalten?

Vom Zwei-Satz-Test zur Claim-Matrix

Der schnellste Test dauert eine Minute: Den fertigen Text durch ein Sprachmodell jagen und eine Zusammenfassung in zwei Sätzen anfordern. Fehlt darin die Sicherheitsinformation, war der Ursprungstext nicht robust genug.

Das ist ein guter erster Griff, aber kein Messrahmen. Antwortvarianz, Modellwechsel, Quellenzugriff und Promptformulierung können das Ergebnis verändern. Wer belastbar messen will, braucht fünf Schritte:

1. Golden Claims festlegen, also die Soll-Aussagen, gegen die geprüft wird: 10 bis 20 kritische Aussagen einer Seite mit Quelle, Gültigkeitsdatum, Bedingung und Evidenzstufe.
2. Transformationen definieren: Zwei-Satz-Zusammenfassung, direkte Nutzerfrage, Paraphrase und kurzes Antwortformat.
3. Testparameter festhalten: Modell, Datum, Sprache, Region, Promptversion, Quellenmodus und Anzahl der Läufe.
4. Jeden Claim einzeln bewerten: vollständig, teilweise, zu weit gefasst, ausgelassen, hinzugefügt, widersprüchlich oder veraltet.
5. Risiko priorisieren: Hochriskante Abweichungen gehen an die zuständige Fachperson; ein Durchschnittswert darf den schlimmsten Fehler nicht verdecken.

Eine einfache Projektmetrik lautet:

Diese Quote ist kein allgemeiner Qualitätsstandard. Sie macht Varianten innerhalb desselben Projekts vergleichbar.

Ein minimales Beispiel

Der synthetische Golden Claim lautet: „Ab 1. Januar 2027 erstatten wir bis zu 150 Euro pro Jahr für Leistung X, wenn Bedingung Y erfüllt ist.“

Diff: unvollständige Wiedergabe

Soll-Aussage

„Ab 1. Januar 2027 erstatten wir bis zu 150 Euro pro Jahr für Leistung X, wenn Bedingung Y erfüllt ist.“

KI-Ausgabe

„Wir erstatten 150 Euro für Leistung X an alle Versicherten.“

Unvollständig: Gültigkeitsbeginn, Obergrenze und Zeitraum fehlen; die Bedingung wird zu „alle Versicherten“ überdehnt.

Der Test zeigt nicht, warum ein Modell den Fehler macht. Er zeigt, welche fachliche Grenze verloren ging und wer sie prüfen muss.

Schreiben für den Test, nicht für einen Mythos

Aus dem Messrahmen lassen sich vorsichtige redaktionelle Regeln ableiten. Vier, die sich in meinen Projekten bewährt haben:

Warnschilder an den Claim schweißen. In klassischen Ratgebern stehen die Vorteile oben und die Einschränkungen unten in der grauen Infobox. Was zusammengehört, gehört in denselben Satz. Nicht „Therapie X ist ein Durchbruch für Gelenkschmerzen“, sondern „Therapie X ist ein Durchbruch für Gelenkschmerzen, es sei denn, der Patient nimmt Blutverdünner.“

Evidenzstufen sichtbar machen. Statt „Studien zeigen“ konkret werden: „Diese Aussage basiert auf Laborstudien. Es gibt keinen Nachweis beim Menschen.“ Labor, Tiermodell, Beobachtungsstudie und geprüfte Anwendung sind vier verschiedene Dinge. Wer die Stufe nicht benennt, überlässt sie der Zusammenfassung.

Gültigkeitsdaten in die Aussage einbauen. Nicht „Vitamin D wird empfohlen“, sondern „Die DGE-Leitlinie von 2023 empfiehlt eine Dosierung von X“. So wird das Datum Teil des Satzes und überlebt die Verkürzung.

Fehlinterpretationen vorwegnehmen. Typische Missverständnisse direkt adressieren, wenn sie im Projekt belegt sind: „Missverständnis: Erdbeeren helfen gegen Krebs. Richtig: Erdbeeren sind gesund, aber keine Therapie.“

Nach jeder Änderung dieselben Transformationen erneut testen. Und eine Einschränkung dazu: Google verlangt für generative Suche kein künstliches Chunking und kein Sonder-Markup.⁶ Die Regeln oben sind Testhypothesen für Claim-Treue, keine GEO-Garantie und keine Aussage darüber, wie Modelle intern arbeiten.

Der organisatorische Betrieb gehört in das Modell zur Content Governance: Owner, Quellen, Freigaben, Lebenszyklus und Monitoring. Dieser Beitrag liefert die schmalere fachliche Prüfung auf Claim-Ebene.

Was der Begriff leisten soll

Interpretationsstabilität lenkt den Blick weg von der bloßen Frage, ob ein Text „korrekt“ ist. Entscheidend ist, ob seine Bedingungen, Evidenzstufen und zeitlichen Grenzen einen definierten Verarbeitungsschritt überstehen.

Das lässt sich nicht für alle künftigen Modelle versprechen. Es lässt sich für einen festgelegten Inhalt, ein Datum und dokumentierte Transformationen testen.

Quellen & Referenzen