Krankenkassen-Webauftritte: Was prüfen, wenn nicht alles geprüft werden kann?

Auf der Website einer Krankenkasse steht ein Satz über eine Leistung. Der Satz stimmt. Er stand auch vor vier Jahren schon da, damals mit der Bedingung dahinter, die inzwischen fehlt.

Solche Sätze findet man nicht durch Draufschauen. Man findet sie nur, wenn man den ganzen Bestand durchgeht, und dafür ist kein Bestand klein genug. Ich habe die öffentlichen Seiten von 84 Websites, Portalen und Teilauftritten gesetzlicher Krankenkassen eingesammelt und maschinell durchsehen lassen: 56.198 Seiten, im Schnitt rund 670 pro Auftritt. Kaum eine Redaktion nimmt sich die einmal im Jahr fachlich vor.

Bis Ende 2024 habe ich die Versichertenkommunikation eines Krankenversicherers verantwortet. Ich kenne die Lage der Redaktion: den gewachsenen Bestand, die Altlasten aus drei Relaunches, die Seite, die niemand mehr anfasst, weil unklar ist, wer fachlich zuständig ist.

Die Reihenfolge der Prüfung

Der Reflex heißt „mehr Leute“. Die Rechnung geht nicht auf. Wer 670 Seiten jährlich einmal fachlich prüfen will, braucht dafür Kapazität, die neben dem Tagesgeschäft nicht existiert und im Jahr darauf erneut nötig wäre. Weiter hilft eine begründete Reihenfolge.

Denn priorisiert wird ohnehin. Die Frage ist nur, ob nach Plan oder danach, was gerade auffällt. Und der Druck auf diese Reihenfolge wächst gerade von einer Seite, die es vor vier Jahren für die Öffentlichkeit noch nicht gab: ChatGPT ist seit November 2022 frei zugänglich. Eine Literaturübersicht hält fest, dass das Interesse wächst, KI-Systeme wie ChatGPT zur Vermittlung von Gesundheitsinformationen zu nutzen.² Diese Systeme fassen öffentliche Webinhalte zusammen und lösen sie aus dem Zusammenhang der Ursprungsseite. Ein Leistungssatz ohne Bedingung war früher ungenau. Heute ist er die Vorlage für eine Antwort, die anderswo entsteht und die die Redaktion nicht mehr gegenlesen kann.

Forschende unter anderem der Universität Zürich, der Stanford University und der Northeastern University haben im April 2025 an 1.508 echten Suchanfragen zu Schwangerschaft und Babypflege gemessen, wie das ausgeht.³ Die KI-Übersicht und das hervorgehobene Textfeld auf derselben Google-Ergebnisseite widersprachen sich in einem Drittel der Fälle, in denen beide erschienen. Der Hinweis, das ärztlich abklären zu lassen, stand in elf Prozent der KI-Übersichten. Ob eine fehlende Bedingung später woanders wieder auftaucht, hat die Quellseite nicht in der Hand.

Wie ich vorgegangen bin

Eine Untersuchung dieser Anlage ist mir für die gesetzliche Krankenversicherung nicht bekannt. Gezählt habe ich Website-Einheiten, nicht Kassen: Die 84 Einheiten sind Websites, Portale und Teilauftritte, und eine Kasse kann mehrere davon betreiben. Zur Einordnung, wie viel Branche damit im Blick ist: Der GKV-Spitzenverband führt 93 Krankenkassen (Stand 24. September 2026).⁴

Geprüft wurde in fünf Richtungen zugleich: Transparenz, rechtliche Einordnung, medizinische Kommunikation, Widersprüche im eigenen Text und Hinweise auf KI-Herkunft.

Barrierefreiheit und UX-Writing gehören nicht zum Prüfraster. Wer eine Studie über alle Qualitätsdimensionen erwartet, bekommt sie hier nicht.

Der Prüfweg läuft in drei Stufen. Zuerst eine regelbasierte Vorprüfung auf definierte Hinweismuster. Dann eine KI-gestützte Triage, die auffällige Seiten weiterreicht und den Rest in eine flachere Prüfstufe schiebt: niedrigere Priorität, keine Freigabe. Zuletzt eine vertiefte KI-Prüfung, die strukturierte Prüfdatensätze erzeugt, jeden mit wörtlicher Fundstelle, einer Einordnung der Tragweite und einem ausdrücklichen Gegenargument.

Drei Sicherungen machen den Unterschied zu „einmal ein Sprachmodell drüberlaufen lassen“.

Belegpflicht. Jeder Datensatz muss eine wörtliche Fundstelle aus der geprüften Seite mitbringen. Anschließend prüft ein deterministischer Abgleich, ob die zitierte Passage im erfassten Seitentext tatsächlich auffindbar ist. Von insgesamt 35.998 Prüfdatensätzen gelang das bei 31.347. Weitere 4.631 Zitate waren nicht auffindbar, 20 Datensätze hatten keinen verwertbaren Status. Die bleiben als prüfbedürftig liegen, statt als belegter Befund nach außen zu gehen.

Gezählt sind Prüfdatensätze, nicht Seiten und nicht Fehler. Zu einer Seite können mehrere Datensätze gehören, und keiner davon ist ein festgestellter Mangel. Der Abgleich belegt, dass die Passage so dasteht, nicht dass ihre Aussage stimmt.

Zweitbewertung. Auf 182 gepaarten Fällen haben zwei unabhängig konfigurierte Modelle dieselben Fälle bewertet. Sie waren sich in 75,8 Prozent einig. Das klingt nach viel, ist es aber nicht: Rechnet man heraus, wie oft zwei Bewerter schon durch Zufall übereinstimmen, bleibt mäßige Einigkeit übrig (Cohens Kappa 0,532; 95-%-Konfidenzintervall 0,415–0,649). 44 Fälle gingen in die nachgelagerte fachliche Klärung. Damit rechnet das Verfahren: Zwei Sprachmodelle sind keine unabhängigen Gutachter, gemeinsame Trainingsdaten können zu gemeinsamen Irrtümern führen. Übereinstimmung dient deshalb nur der Triage. Ob eine Aussage stimmt, entscheidet die fachliche Prüfung.

Aktualitätssicherung. Der unangenehmste Fehlertyp ist der, bei dem geprüfte Seite und prüfendes Modell denselben veralteten Wissensstand teilen. Das Modell bestätigt dann eine überholte Aussage als korrekt. Dagegen laufen kuratierte Aktualitätsprüfungen für änderungsanfällige Themen.

Die KI übernimmt die ausdauernde Erstdurchsicht und erstellt daraus eine priorisierte Arbeitsliste mit Prüfkandidaten. Bewerten müssen sie Menschen.

Was über viele Auftritte hinweg wiederkehrt

Über die Auftritte hinweg wiederholen sich 290 Prüfmuster, 42 davon in der höchsten Prioritätsstufe. Die Tabelle zeigt sieben dieser 42. Die Muster überschneiden sich.

Am breitesten verteilt ist das erste Muster, es kommt in 67 der 84 Auftritte vor. Die Konsistenz medizinischer Aussagen betrifft dagegen nur 24 Auftritte. Die Verbreitung zeigt, wo sich eine gemeinsame Prüfroute über viele Auftritte lohnt. Wie viel Arbeit in einem einzelnen Auftritt steckt, zeigt sie nicht, dafür braucht es den Blick in diesen Auftritt.

Das sind Prüfkandidaten, keine festgestellten Verstöße. Eine Zahl in dieser Tabelle bedeutet, dass ein Mensch mit Fachkenntnis die Stelle prüfen sollte. Die Studie liefert keine Fehlerquote und nennt bewusst keine Kassennamen. Sie stellt keine Rangfolge auf, weil ein Ranking den Prüfkandidaten eine Endgültigkeit zuschreiben würde, die das Verfahren nicht beansprucht.

Die Fragen hinter den Prüfkandidaten sind immer dieselben: Führt eine Aussage ihre Voraussetzungen mit? Gilt sie noch? Worauf stützt sie sich? Ist sie medizinisch stimmig, und in welchem Rahmen steht sie rechtlich?

Governance bleibt von außen unsichtbar

Ein Zusatzmodul hat geprüft, ob grundlegende Governance-Signale über einen definierten öffentlichen Suchpfad auffindbar sind. Kann jemand von außen erkennen, wie eine Kasse ihre Gesundheitsinhalte pflegt?

Von 84 Auftritten benennen elf eine klare redaktionelle Verantwortung für Inhalte. Sechs zeigen einen sichtbaren Weg, inhaltliche Fehler zu melden. Vier sagen, in welchem Rhythmus sie ihre Inhalte prüfen. Drei äußern sich zum Umgang mit KI-gestützter Texterstellung.

Diese Zahlen messen ausschließlich öffentliche Auffindbarkeit. Fehlt ein Signal, heißt das nur: Versicherte, Forschung und Aufsicht können von außen keine internen Prozesse erkennen. Ob es sie gibt, sagt die Zahl nicht. Für Krankenkassen, die digitale Gesundheitskompetenz fördern sollen, ist genau das aber selbst ein Thema.

Ähnliches ist übrigens schon einmal beobachtet worden. Viviane Scherenberg und Melanie Preuß haben im Sommer 2022 die Websites von 97 Kassen nach Angeboten zur digitalen Gesundheitskompetenz durchsucht. Über die Suchfunktion direkt auffindbar waren solche Angebote bei 16 Kassen.¹ Mit anderem Zuschnitt und anderer Messung veröffentlichten sie ihren Befund bereits 2023.

Was Redaktionen daraus machen können

Das Verfahren verschiebt die Frage von „Können wir alles prüfen?“ zu „Worauf richten wir begrenzte Prüfkapazität zuerst?“. Vier Fragen genügen als Raster. Jede Gesundheits- und Leistungsseite sollte sie beantworten können:

1. Wer verantwortet die Aussage fachlich?
2. Welche Referenz ist maßgeblich?
3. Wann wurde zuletzt geprüft?
4. Was passiert, wenn sich Satzung, Evidenz oder Rechtsrahmen ändern?

Wer diese vier Fragen für seine Top-Seiten beantworten kann, hat für diese Seiten eine Grundlage, um den Prüfbedarf gezielt abzuarbeiten. Wer sie nicht beantworten kann, weiß zumindest, wo anzufangen wäre.

Redaktionen können statt einer Vollprüfung eine priorisierte Prüfarbeitsliste nutzen und feste Review-Zyklen für änderungsanfällige Themenfelder festlegen. Dazu klären sie die fachlichen Zuständigkeiten für Gesundheits- und Leistungsinformationen und bestimmen, wann Leitlinien-, Rechts- oder Leistungsstandsänderungen ein Update auslösen. Sichtbare Governance-Signale machen von außen erkennbar, dass die Inhalte gepflegt werden.

Das ist überwiegend Organisationsarbeit und setzt weder ein externes Audit noch neue Technik voraus. Methodik und Arbeitsprobe im Detail stehen auf der Projektseite AußenBlick GKV.

Und der Nutzen für Versicherte?

Der Nutzen zeigt sich indirekt: Wo Kassen die priorisierten Muster abarbeiten, sinkt der Bestand ungeprüfter Altinhalte, Leistungsinformationen führen ihre Bedingungen mit, Quellen und Stand werden nachvollziehbar. Das wirkt doppelt: für Versicherte, die die Seite direkt lesen, und für alle, die dieselbe Information über ein KI-System bekommen, in verkürzter Form, ohne den Kontext der Ursprungsseite.

Gemessen habe ich diesen Nutzen nicht, die Studie erfasst nur den Prüfbedarf. Aber die Richtung ist plausibel: Je aktueller und konsistenter der Quelltext, desto belastbarer bleibt auch das, was Maschinen daraus machen.

Quellen & Referenzen

---

Methodik, Datenstand und Grenzen sind im Preprint dokumentiert. Der Volltext liegt unter arXiv:2608.03500 und als Zenodo-Preprint vor. Ein separates, redigiertes Snapshot-Paket ist als Datensatz veröffentlicht. Rohcrawl, vollständige Seitentexte, Produktionscode, Prompts und Schwellenwerte sind nicht öffentlich. Datenstand ist Mai 2026.

Zum Schluss eine Frage an Sie: Welchen Prüfschritt würden Sie aus Ihrer Praxis ergänzen, und welche der vier Governance-Fragen ist in Ihrem Haus am schwersten zu beantworten?