Was prüfen, wenn nicht alles geprüft werden kann?

Auf der Website einer Krankenkasse steht ein Satz über eine Leistung. Der Satz stimmt. Er stand auch vor vier Jahren schon da – damals mit der Bedingung dahinter, die inzwischen fehlt.

Solche Sätze findet man nicht durch Draufschauen. Man findet sie nur, wenn man den ganzen Bestand durchgeht, und dafür ist kein Bestand klein genug. Ich habe die öffentlichen Seiten von 84 Webauftritten gesetzlicher Krankenkassen eingesammelt und maschinell durchsehen lassen: 56.198 Seiten, im Schnitt rund 670 pro Auftritt. Keine Redaktion der Welt nimmt sich die einmal im Jahr fachlich vor.

Das ist kein Ressourcenproblem

Der Reflex heißt „mehr Leute“. Die Rechnung trägt das nicht. Wer 670 Seiten jährlich einmal fachlich prüfen will, braucht dafür Kapazität, die neben dem Tagesgeschäft nicht existiert – und im Jahr darauf wieder. Was trägt, ist etwas anderes: eine begründete Reihenfolge.

Denn priorisiert wird ohnehin. Die Frage ist nur, ob nach Plan oder danach, was gerade auffällt. Und der Druck auf diese Reihenfolge wächst gerade von einer Seite, die vor drei Jahren keine Rolle spielte: Das Interesse daran, sich Gesundheitsfragen von KI-Systemen beantworten zu lassen, wächst². Diese Systeme fassen öffentliche Webinhalte zusammen und lösen sie aus dem Zusammenhang der Ursprungsseite. Ein Leistungssatz ohne Bedingung war früher ungenau. Heute ist er die Vorlage für eine Antwort, die anderswo entsteht und die niemand mehr gegenlesen kann.

Wie ich vorgegangen bin

Eine Untersuchung dieser Anlage gab es für die GKV bisher nicht. Die 84 Webauftritte gehören zu 83 eigenständigen Krankenkassen, der 84. ist der gemeinsame AOK-Auftritt. Bei rund 90 bis 95 Kassen in Deutschland ist damit nahezu die ganze Branche erfasst, und zwar über vier Prüfdimensionen zugleich: medizinisch, rechtlich, redaktionell und auf Hinweise zur KI-Herkunft eines Textes.

Was nicht drin ist, gehört zur selben Aussage: Barrierefreiheit und UX-Writing sind nicht Teil des Prüfrasters. Wer eine Studie über alle Qualitätsdimensionen erwartet, bekommt sie hier nicht.

Bis Ende 2024 habe ich die Versichertenkommunikation eines Krankenversicherers verantwortet. Ich kenne die Seite, auf der die Redakteurin sitzt: den gewachsenen Bestand, die Altlasten aus drei Relaunches, die Seite, die niemand mehr anfasst, weil unklar ist, wer fachlich zuständig ist.

Der Prüfweg läuft in drei Stufen. Zuerst eine regelbasierte Vorprüfung auf definierte Hinweismuster. Dann eine KI-gestützte Triage, die unauffällige Seiten abschließt und auffällige weiterreicht. Zuletzt eine vertiefte KI-Prüfung, die strukturierte Prüfhinweise erzeugt: jeweils mit wörtlicher Fundstelle, einer Einordnung der Tragweite und einem ausdrücklichen Gegenargument.

Drei Sicherungen machen den Unterschied zu „einmal ein Sprachmodell drüberlaufen lassen“.

Belegpflicht. Jeder Hinweis muss eine wörtliche Fundstelle aus der geprüften Seite mitbringen. Anschließend prüft ein deterministischer Abgleich, ob die zitierte Passage im erfassten Seitentext tatsächlich auffindbar ist. Von insgesamt 35.998 Prüfhinweisen gelang das bei 31.347. Der Rest bleibt als prüfbedürftig markiert liegen, statt in eine Auswertung zu rutschen.

Zwei Klarstellungen dazu, weil diese Zahl leicht falsch gelesen wird. Sie zählt Prüfhinweise, nicht Seiten und nicht Fehler – eine Seite kann mehrere Hinweise tragen, und keiner davon ist ein festgestellter Mangel. Und der Abgleich belegt, dass die Passage so dasteht, nicht dass ihre Aussage stimmt.

Zweitbewertung. Auf 182 gepaarten Fällen haben zwei unabhängig konfigurierte Modelle dieselben Fälle bewertet. Sie waren sich in 75,8 Prozent einig. Jeder vierte Fall wurde also unterschiedlich eingeordnet und brauchte eine nachgelagerte fachliche Klärung. Das ist kein Makel des Verfahrens, sondern sein Konstruktionsprinzip: Zwei Sprachmodelle sind keine unabhängigen Gutachter, gemeinsame Trainingsdaten können zu gemeinsamen Irrtümern führen. Übereinstimmung ist deshalb ein Triage-Signal, kein Wahrheitsbeweis.

Aktualitätssicherung. Der unangenehmste Fehlertyp ist der, bei dem geprüfte Seite und prüfendes Modell denselben veralteten Wissensstand teilen – das Modell bestätigt dann eine überholte Aussage als korrekt. Dagegen laufen kuratierte Aktualitätsprüfungen für änderungsanfällige Themen.

Was am Ende herauskommt, ist eine priorisierte Arbeitsliste. Keine Befunde. Die KI leistet die ausdauernde Erstdurchsicht; die Bewertung bleibt bei Menschen.

Was kassenübergreifend wiederkehrt

Über die Auftritte hinweg wiederholen sich 290 Prüfmuster, 42 davon in der höchsten Prioritätsstufe. Der wichtigste Befund steckt nicht in einer einzelnen Zahl, sondern in der Streuung. Der Prüfbedarf ist strukturell, nicht auf einzelne auffällige Häuser beschränkt.

Am breitesten verteilt ist das erste Muster: Es kommt in 67 der 84 Auftritte vor. Ein anderes wiegt schwerer, wo es auftritt: die Konsistenz medizinischer Aussagen betrifft nur 24 Auftritte, dort aber besonders dicht.

Beide Lesarten sind nützlich, und sie bedeuten Verschiedenes. Breite zeigt, wo eine kassenübergreifende Prüfroute lohnt. Dichte zeigt, wo im einzelnen Haus die meiste Arbeit liegt.

Eine Einordnung, die ich nicht überspringen möchte: Das sind Prüfkandidaten, keine festgestellten Verstöße. Eine Zahl in dieser Tabelle bedeutet, dass ein Mensch mit Fachkenntnis draufschauen sollte – nicht, dass etwas falsch ist. Die Studie nennt bewusst keine Kassennamen und stellt keine Rangfolge auf. Ein Ranking würde den Hinweisen eine Endgültigkeit zuschreiben, die das Verfahren nicht beansprucht.

Auffällig ist, wo die Schwerpunkte liegen. Es geht kaum um falsche Fakten. Es geht um Bedingtheit, Aktualität, Quellenlage und rechtliche Rahmung, also darum, ob eine Aussage ihre Voraussetzungen mitführt, ob sie noch gilt, worauf sie sich stützt und in welchem Rahmen sie steht.

Der Nebenbefund: Governance ist von außen unsichtbar

Ein Zusatzmodul hat geprüft, ob grundlegende Governance-Signale über einen definierten öffentlichen Suchpfad auffindbar sind. Also: Kann jemand von außen erkennen, wie ein Haus seine Gesundheitsinhalte pflegt?

Von 84 Auftritten benennen elf eine klare redaktionelle Verantwortung für Inhalte. Sechs zeigen einen sichtbaren Weg, inhaltliche Fehler zu melden. Vier sagen, in welchem Rhythmus sie ihre Inhalte prüfen. Drei äußern sich zum Umgang mit KI-gestützter Texterstellung.

Diese Zahlen messen ausschließlich öffentliche Auffindbarkeit. Aus einem fehlenden Signal folgt nicht, dass interne Prozesse fehlen – die gibt es fast sicher. Es folgt nur, dass sie für Versicherte, Forschung und Aufsicht nicht erkennbar sind. Für Häuser, die digitale Gesundheitskompetenz fördern sollen, ist genau das aber selbst ein Thema.

Der Befund ist übrigens nicht neu, nur größer. Viviane Scherenberg und Melanie Preuß haben 2023 die Angebote zur digitalen Gesundheitskompetenz von 97 Kassen von Hand durchgesehen und kamen zu einer ähnlichen Beobachtung eingeschränkter zentraler Auffindbarkeit.¹ Ihre Bestandsaufnahme war deutlich kleiner, aber sie war drei Jahre früher da.

Was Redaktionen daraus machen können

Das Verfahren verschiebt die Frage von „Können wir alles prüfen?“ zu „Worauf richten wir begrenzte Prüfkapazität zuerst?“. Vier Fragen genügen als Raster. Jede Gesundheits- und Leistungsseite sollte sie beantworten können:

1. Wer verantwortet die Aussage fachlich?
2. Welche Referenz ist maßgeblich?
3. Wann wurde zuletzt geprüft?
4. Was passiert, wenn sich Satzung, Evidenz oder Rechtsrahmen ändern?

Wer diese vier Fragen für seine Top-Seiten beantworten kann, hat den größten Teil des Prüfbedarfs bereits im Griff. Wer sie nicht beantworten kann, weiß zumindest, wo anzufangen wäre.

Daraus wird operativ: eine priorisierte Prüfarbeitsliste statt einer Vollprüfung. Feste Review-Zyklen für änderungsanfällige Themenfelder. Klare fachliche Zuständigkeiten für Gesundheits- und Leistungsinformationen. Update-Trigger bei Leitlinien-, Rechts- oder Leistungsstandsänderungen. Und sichtbare Governance-Signale, damit von außen erkennbar ist, dass gepflegt wird.

Nichts davon setzt ein externes Audit oder neue Technik voraus. Das meiste ist Organisation, nicht Werkzeug.

Und der Nutzen für Versicherte?

Der ist indirekt, aber er ist der Punkt. Wo Kassen die priorisierten Muster abarbeiten, sinkt der Bestand ungeprüfter Altinhalte, Leistungsinformationen führen ihre Bedingungen mit, Quellen und Stand werden nachvollziehbar. Das wirkt doppelt: für Versicherte, die die Seite direkt lesen, und für die wachsende Gruppe, die dieselbe Information über ein KI-System bekommt – in verkürzter Form, ohne den Kontext der Ursprungsseite.

Gemessen habe ich diesen Nutzen nicht. Die Studie misst Prüfbedarf, nicht Wirkung. Aber die Richtung ist plausibel: Je aktueller und konsistenter der Quelltext, desto belastbarer bleibt auch das, was Maschinen daraus machen.

Quellen & Referenzen

---

Methodik, Datenstand und Grenzen sind vollständig dokumentiert. Der Volltext und der anonymisierte Datensatz sind offen zugänglich: 10.5281/zenodo.20591063. Datenstand ist Mai 2026.

Eine Frage zum Schluss, auf die ich ehrlich neugierig bin: Welchen Prüfschritt würden Sie aus Ihrer Praxis ergänzen – und welchen der vier Governance-Fragen ist in Ihrem Haus am schwersten zu beantworten?