KI entlarvt KI – Die Pangram Debatte

Leider existieren derzeit, besonders im Selfpublisher Bereich, viele mit KI erstellte Romane, Lebensratgeber usw. Auf den ersten Blick kann die Erstellung mit KI alleine dadurch vermutet werden, dass AutorInnen innerhalb kurzer Zeit eine Vielzahl von Werken veröffentlichten. Aber wie exakt findet man das heraus? Brauchen wir dafür eine andere KI? Stehen wir vor einer neuen Situation: KI entlarvt KI? Benötigen wir Systeme wie Pangram?

KI entlarvt KI: Wie trennt man die Spreu vom Weizen?

Es gibt derzeit zwei Gruppen mit unterschiedlichen Herangehensweisen, um von KI geschriebene Texte zu entlarven. Die erste Gruppe wird vertreten durch den Literaturkritiker Wolfgang Tischer, der den Blog Literaturcafe betreibt. Der MDR zitiert Herrn Tischer in einem Beitrag, der sich mit dem Erkennen von KI auseinandersetzt.

Herr Tischer sieht einerseits Zeichen im Satzaufbau: einförmige und stets gleich lange Sätze. Ferner soll die KI häufiger Semikolons und Bindestriche verwenden.

Auch am Inhalt könne man KI relativ leicht erkennen. Sie neige zu gigantisch klingenden Metaphern. Bei näherem Hinsehen sind sie nur noch hohl und passen nicht zum Text. Außerdem produziere KI gerne sogenannte „semantische Dreiklänge“. Ein Satz über eine Frau, die einen bestimmten Ort meiden will, heißt dann: „Sie wollte nie mehr hierherkommen – nicht in diese Stadt, zu diesem See und schon gar nicht zu dem Café an der Ecke.“

Im Regelfall ist das unpassend, es sei denn es gibt einen besonderen Zusammenhang in der Story zu Stadt, See und Café. Nach meinen Tests mit KI ist das nie der Fall. Die KI findet das einfach nur toll. Sie produziert häufig Sätze wie diesen: „Das Vereinsheim des Royal Oak Golfclubs roch nach poliertem Mahagoni, teurem Parfum und Geld.“ Riecht nach Geld ist eine Metapher. Poliertes Holz riecht nach dem benutzten Poliermittel, aber das gehört nicht zum Erfahrungsschatz einer KI. Royal Oak heißen Pubs in Großbritannien, aber keine Golfclubs.

Die zweite Gruppe will Feuer mit Feuer bekämpfen. Wenn eine KI Texte erstellt, sollte dann nicht eine andere KI in der Lage sein, genau das zu bemerken? Hier beginnt die Debatte um das Programm Pangram.

Pangram: KI-Texte von einer KI entlarven lassen?

In der englischen Ausgabe der spanischen Zeitung EL PAIS wird darüber berichtet. Ausgangspunkt war für die Zeitung der Skandal um den peruanischen Autor David Silva Rojas. Er hat mit seinem Buch „Where the Water Works“ einen mit 20.000 EUR dotierten Preis gewonnen. EL PAIS stellte nach Einsatz von Pangram fest, dass 99 % des Werkes von einer KI geschrieben wurden.

Was bedeuten die 99 % ?

Pangram unterteilt einen Text in Abschnitte und klassifiziert jeden davon als „menschlich“, „KI-unterstützt“ oder „KI-generiert“. Der Wert von 99 % bezieht sich auf den Anteil des Textes, der als KI-generiert eingestuft wird. Es ist kein statistischer Wahrscheinlichkeitswert. Pangram sagt damit nicht aus, dass eine 99 % Wahrscheinlichkeit für KI-Generierung besteht. Vielmehr wird z.B. anhand eines Textes mit 25.000 Wörtern davon ausgegangen, dass beinahe alles aus der Feder einer KI stammt.

Wie oft kann Pangram sich irren?

Glaubt man EL PAIS, dann sehr selten – zumindest bei sehr umfangreichen Texten. Mindestens sieben unabhängige Untersuchungen ergaben, dass Pangram von Menschen verfasste Texte so gut wie nie als KI-generiert einstuft. Die Rate der falsch-positiven Ergebnisse liegt zwischen 0 % und 0,2 % der untersuchten Texte. Der Literaturprofessor Steven Mollmann wertete 17 Studien aus und fand insgesamt 49 falsch-positive Ergebnisse bei 36.282 von Menschen verfassten Texten – das entspricht einer Quote von 0,14 %.

Der anspruchsvollste Test umfasste Texte, mit denen Pangram während seines Trainings unmöglich in Kontakt gekommen sein kann. Der Betreiber eines Online-Forums für Belletristik erwarb 46 vergriffene Bücher, die nie digitalisiert wurden – insgesamt 2,9 Millionen Wörter. Pangram hatte diese Texte also nie in seiner Datenbank. Trotzdem stufte es alle als von Menschen produziert ein.

Die Zeitung EL PAIS betont, dass vor 2025 Tools, die KI-generierte Werke erkennen sollten, oft schlecht abschnitten. Seit 2026 sei jedoch eine umfassende Verbesserung eingetreten. Gegenüber einem Autor ist die Beschuldigung, sein Werk nicht selbst geschrieben zu haben, sehr schwerwiegend. EL PAIS führte deshalb eigene Tests durch.

Klassiker, wie z.B. Don Quijote, werden fälschlich als KI-generiert erkannt?

EL PAIS gibt an, dass diese Behauptung auf X und anderen sozialen Medien häufig wiederholt wird. In der Vergangenheit könnte sie – etwa bei sehr kurzen Textausschnitten oder im Zusammenhang mit anderen Erkennungstools – zutreffend gewesen sein. Heute sei das nicht mehr der Fall.

EL PAIS verwendete Textauszüge von acht Klassikern, z.B.: „Don Quijote“, „Alice im Wunderland“, sowie „Stolz und Vorurteil“. Pangram analysierte sie. Sowohl bei den ersten 1.000 Wörtern als auch bei einer weiteren 1.000-Wörter-Stichprobe aus der Mitte jedes Textes stufte Pangram die jeweiligen Passagen zu 100 % als von Menschen verfasst ein.

Da es berühmte Werke sind, könnten sie Pangram bekannt sein. Das Ergebnis sagt also nicht wirklich etwas aus. EL PAIS führte darum einen zweiten Test durch. Die Journalisten kombinierten den Anfang von „Don Quijote“ mit Abschnitten, die von einer KI verfasst wurden. Die KI hatte vorher die Anweisung erhalten, den Schreibstil von Miguel Servantes nachzuahmen. Pangram erkannte 84 % der von der KI generierten Passagen, während es keine einzige Zeile von Cervantes als KI-generiert markierte. Fazit: Wenn das System Fehler macht, dann meist in der Form, dass es KI-generierte Texte übersieht. Pangram beschuldigt aber nicht einen menschlichen Autor, dass sein Roman von einer KI geschrieben wurde.

KI entlarvt KI. Ist es also in Ordnung, dass man Pangram einsetzt? Gibt es schon Erfahrungswerte, Konsequenzen?

Wurden AutorInnen schon beschuldigt, dass eine KI ihre Romane schrieb?

Dem kanadischen Schriftsteller Thélyson Orélien wurde Ende September 2026 vorgeworfen, dass eine KI seinen preisgekrönten Roman „C’était ça ou mourir“ (Entweder das oder der Tod) schrieb. Knapp einen Monat später beendete sein Verlag, Les Éditions du Boréal, die Zusammenarbeit.

Im Oktober 2026 gewann der simbabwische Schriftsteller Simbarashe Steyn Kundizeza den Caine Prize for African Writing. Dieser wird in London verliehen und hat ein Preisgeld von 10.000 GBP. Die Zeitschrift „The Atlantic“ berichtete, dass ein KI-Erkennungsprogramm den Text als KI-generiert einstufte. Die Organisatoren des Preises leiteten eine Überprüfung ein.

Im März 2026 berichtete die „New York Times“, dass ein Horrorroman von Mia Ballard von Pangram als zu 78 % KI-generiert eingestuft wurde. Die Autorin machte einen ihrer Mitarbeiter dafür verantwortlich. Dieser habe ohne ihr Wissen KI eingesetzt. Der Verlag sagte daraufhin die Veröffentlichung des Buches in den USA ab.

Bücher schreiben mit KI: Es gibt durchaus eine Grauzone

Tools wie Pangram sind offenbar recht zuverlässig. Daraus lässt sich nicht genau bestimmen, welche Rolle ein Mensch in diesem Prozess spielte. KI entlarvt KI, aber was genau wird damit eigentlich ausgesagt?

KI kann für einen äußerst passiven Schreibprozess eingesetzt werden, in dem die KI so gut wie alles alleine macht. Sie ist der Diener, der alles mundgerecht serviert. KI kann aber auch dazu dienen, eigene Ideen, Notizen, Entwürfe oder Textausschnitte in einen ausformulierten Text zu verwandeln. Dann wäre der Mensch der Regisseur, die KI die Schauspieler oder Kameraassistenten.

Dazwischen liegt ein großer Graubereich. Was genau ist die Definition von KI-generiert?

Zählt es schon, wenn eine KI lediglich den eigenen Text überarbeitet, sozusagen die Rolle eines Lektors übernimmt, Vorschläge und Verbesserungen macht?

Was ist, wenn die KI aus Notizen ganze Sätze formt?

Was ist, wenn die KI mehrfach Texte generiert, die man dann so lange verfeinert, bis sie zu den eigenen werden?

Die Diskussion dürfte spannend werden.