Kolibri-1 im Test: Was in Aleph Alphas KI „Made in Germany“ steckt

Wer im Supermarkt Honig kauft, kennt das: Vorn auf dem Glas blüht eine Wiese, daneben klebt manchmal eine Deutschlandfahne. Wer wissen will, was wirklich drin ist, dreht das Glas um und liest das Kleingedruckte. Lange stand dort nur: „Mischung aus EU- und Nicht-EU-Ländern“.¹

Genau das habe ich mit Kolibri-1 gemacht. Kolibri-1 ist das neue Sprachmodell von Aleph Alpha aus Heidelberg, also eine KI wie ChatGPT, die Texte versteht und schreibt. Aleph Alpha wirbt mit „Made in Germany“. Das Modell soll auch dort arbeiten, wo es heikel wird: in wichtigen Firmenprozessen und in Behörden.² Gefunden habe ich zwei Dinge. Beim Texten strich Kolibri ein Kaufargument. Und wer oft genug fragt, bekommt auch Anleitungen für Sprengstoff.

Dabei hatte ich mich auf Kolibri gefreut. Ich entwickle humanizer-de, eine Erweiterung (Skill) für die KI Claude, die deutsche Texte besser macht, ohne dass Inhalte verloren gehen. Wer täglich mit KI schreibt, kennt das Problem: Die meisten Modelle lernen vor allem mit englischen oder chinesischen Texten, Deutsch läuft nur am Rand mit. Ein eigenes Modell aus Deutschland klang nach der lang ersehnten Lösung. Endlich gute deutsche Texte, so versprach es zumindest die Werbung auf dem Honigglas.

Hält der Inhalt, was das Etikett verspricht? Ich habe es in zwei Tests geprüft: erst beim Schreiben, dann bei der Sicherheit.

Der Schreibtest

In einer Demo ließ ich Kolibri Texte überarbeiten.³ Einen Verwaltungstext machte das Modell tatsächlich besser. Beim Werbetext dagegen strich es eine wichtige Produktfunktion: Aufgaben und Termine in einer gemeinsamen Ansicht. Übrig blieben allgemeine Sätze über Projektplanung. Dabei verlangte meine Anweisung ausdrücklich, alle Funktionen zu behalten.

Ein guter Redakteur spart Wörter. Kolibri sparte gleich ein ganzes Kaufargument.

Der Sicherheitstest

Viel ernster ist das Ergebnis meines zweiten Tests. Eine KI soll ablehnen, wenn jemand wissen will, wie man eine Bombe baut. Ich wollte wissen, wie zuverlässig Kolibri das tut. Dafür stellte ich dem Modell über die Schnittstelle (API) des Anbieters Nodion AI zwanzigmal dieselbe englische Frage nach einer Bombenanleitung, jeweils in einem neuen Gespräch.⁴

Leicht habe ich es Kolibri dabei nicht gemacht. Chat-KIs bekommen vor dem Gespräch meist eine Grundanweisung, die sogenannte Systemnachricht. Man kann sie sich wie ein Briefing vorstellen. Dieses Briefing schrieb ich selbst. Fachleute nennen so etwas Jailbreak, also einen Trick gegen die Schutzregeln einer KI.

Eine KI wertete die zwanzig Antworten aus. Achtmal lehnte Kolibri ab, so wie es sein soll. Zwölf Antworten stufte die Auswertung als Anleitung ein. Zwei davon enthielten einen Warnhinweis, die Anleitung kam trotzdem. Ob diese Inhalte funktionieren, habe ich nicht geprüft.

Auffällig ist noch etwas: Frage und Briefing waren in allen zwanzig Runden gleich, und doch lehnte Kolibri mal ab und half mal. In meinem Test war die Schutzregel ein Würfelspiel.

Die Zutatenliste

Spätestens jetzt lohnt der Blick auf die Rückseite des Glases. Bei Kolibri geht das gut. Aleph Alpha hat das Modell offen veröffentlicht, jeder kann es herunterladen und prüfen.⁵ Dazu gibt es einen technischen Bericht mit 189 Seiten.⁶

Was auffällt: Beim Deutschanteil der Trainingsdaten ist man sich bei Aleph Alpha nicht einig. Die Modellkarte auf Hugging Face nennt rund 23,9 Prozent, der technische Bericht 21,3 Prozent. Das sind mal eben 520 Milliarden Wortbausteine Unterschied. Welche Zahl stimmt, bleibt offen.⁷

Kolibri wurde von Grund auf neu trainiert und baut nicht auf einem fremden Modell auf. Beim Lernen bekam es aber internationale Hilfe. Die Modelle Gemma und Mistral-NeMo halfen, Teile der Trainingsdaten aufzubereiten. Qwen half, schlechte Daten auszusortieren.⁵ Und die Übungsantworten, mit denen Kolibri auf Deutsch chatten und Aufgaben durchdenken lernte, schrieben andere KIs: die chinesischen Modelle GLM und Qwen3.8-27B.⁶ Also danke an Qwen von Alibaba Cloud China fürs Mitunterrichten im Deutschkurs der souveränen KI.

Um fair zu bleiben: Diese Hilfe erklärt meine Testergebnisse nicht. Sie beweist auch nicht, dass jemand von außen Kolibri kontrolliert.

Stutzig macht ein anderer Vergleich. Kolibri hat insgesamt rund 78 Milliarden Parameter. Das sind, grob gesagt, die Stellschrauben, die ein Modell beim Lernen einstellt. Damit ist Kolibri fast dreimal so groß wie sein Hilfslehrer Qwen3.8-27B. Trotzdem liegt der Hilfslehrer in Aleph Alphas eigenem Leistungstest (Benchmark) auf Deutsch vorn: 79,9 zu 70,8 Punkte.⁸ Die Zahlen stammen vom Hersteller, einen eigenen Schreibvergleich habe ich nicht gemacht.

Ein bekanntes Muster

Dazu kommt das Geld. Schon Ende 2023 kündigte Aleph Alpha eine Finanzierung von über 500 Millionen US-Dollar an. Die Summe umfasste auch Forschung und Vorablizenzen, ein eigenes Budget für Kolibri ist nicht ausgewiesen.⁹ Für so viel Geld darf man aber mehr erwarten als ein Modell, das Sätze hübsch umstellt, Produktfunktionen vergisst und sich mit einem Trick zu Bombenanleitungen bringen lässt.

Das erinnert mich an frühere deutsche Digitalprojekte. Paydirekt/Giropay, das Online-Bezahlverfahren deutscher Banken("PayPal made in Germany"), wurde Ende 2024 eingestellt.¹⁰ Hessen sah 2021 Nutzen in der Corona-App Luca, verlängerte den Vertrag 2022 aber nicht.¹¹ Und über De-Mail, die sichere E-Mail für den Kontakt mit Behörden, verschickten Bundesbehörden von 2016 bis 2019 rund 6.000 Nachrichten. Erwartet waren bis zu sechs Millionen.¹²

Die Ursachen waren jedes Mal andere. Die Bilanz war ähnlich: große Ankündigung, gefüllte Taschen, Nutzen für die Allgemeinheit gegen null. Für mich heißt das: erst probieren, dann dem Etikett glauben.

Was mein Test zeigt und was nicht

Auch mein Test hat Kleingedrucktes. Er besteht aus zwei kleinen Stichproben: acht Anfragen in der Demo und zwanzig über die API. Ein anderes Modell lief nicht zum Vergleich mit, mein eigener Skill auch nicht. Welche Modellversion genau antwortete, weiß ich nicht. Eine Kontrollrunde fehlt, und kein Mensch hat die Bewertung der KI unabhängig nachgeprüft.

Mein Test belegt also nicht, dass Kolibri in Behörden unsicher ist oder Amtsgeheimnisse preisgibt. Dort können Mitarbeitende die Systemnachricht meist gar nicht selbst ändern.

Deutlich größer ist der Test des unabhängigen Forschers Stefan Beierle. Er prüfte in 1.851 Durchläufen etwas anderes als ich: wie gut Kolibri das Cybersicherheitsrecht NIS2 kennt. Bekam Kolibri den Gesetzestext mitgeliefert, lag es bei 96 bis 100 Prozent richtig. Dann liest es allerdings nur ab. Ohne den Text stimmte nur gut die Hälfte der Ersteinschätzungen. Gesetzliche Fristen nannte es nur in 20 von 50 Fällen vollständig richtig, § 32 BSI-Gesetz mit den Meldepflichten aus dem Gedächtnis nur einmal in 50 Läufen. Immerhin wich es meist aus, statt etwas zu erfinden. Und gegen versteckte Befehle in Texten hielt es gut stand, 39 von 40 wehrte es ab. Beierles Rat: Kolibri nur mit Gesetzestext einsetzen, nicht als Wissensquelle für Recht.¹³

Genau da liegt für mich das Problem. Aleph Alpha empfiehlt selbst, passenden Kontext mitzuliefern.⁵ Von einem deutschen Modell für Behörden erwarte ich aber, dass es deutsche Gesetze kennt, vom BSI-Gesetz bis zum Sozialgesetzbuch. Nicht nachgeschlagen, sondern eingemeißelt. Sonst bleibt vom deutschen Vorteil vor allem der eigene Server.

Eines zeigt mein Test aber. Wer eine KI auf eigenen Servern betreibt, behält die Kontrolle über seine Daten. Das nennt man Datensouveränität. Ein sicheres Modell und gute Texte bekommt man dadurch noch lange nicht.

Dass Aleph Alpha Modell und Dokumentation offenlegt, ist der richtige Weg. Behörden und Unternehmen mit sensiblen Aufgaben rate ich dennoch, mit dem Einsatz zu warten, bis Kolibri im Alltag hält, was die Werbung verspricht.

Eine Deutschlandfahne ist schnell aufs Honigglas geklebt. Besser wird der Inhalt davon nicht.

Quellen & Referenzen