Mein bester Messwert kam vom schlechtesten Text

Teil 3 endete mit einer Frage. Wenn eine feste Liste den Slop nur verschiebt, statt ihn zu entfernen, was bringt sie dann?

Ich habe das nachgemessen. Vier Varianten, zwei Schalter in allen Kombinationen, Training und System-Prompt, dieselben 36 Aufgaben, temperature=0.7, Seed 1234+idx, alles auf derselben H100.

Das Fazit vorweg

Ja, es ist ein Erfolg. Ich sage dir zuerst, warum, damit du nicht bis zum Ende lesen musst.

Die Methode wirkt, und sie lässt sich mit Prompting stapeln. Das nackte Modell produziert 38,64 Banlist-Treffer je 1.000 Tokens. Ein System-Prompt allein drückt das auf 21,04, das Training allein auf 12,04, beides zusammen auf 6,27. Das ist der beste Wert des ganzen Projekts. Dass sich die zwei Hebel addieren, statt einander im Weg zu stehen, war vorher offen.

Eine echte Floskel ist dabei verschwunden, und zwar durch das Training. „revolutionier…“ kommt im Basismodell 13 Mal vor, im Finetune 5 Mal, mit Prompt zusammen 0 Mal.

Dazu kommt, was neben dem Modell entstanden ist. Ein deutsches Referenzprofil aus 860 Millionen Zeichen menschlichem Deutsch, gefiltert gegen Synchron-Deutsch. Ein Diskriminator, der Fachbegriff von Floskel trennt. Und ein Fehler im Framework, auf dem das alles aufsetzt, gefunden und gemeldet.

Und jetzt die Einschränkung. Genau der Arm mit dem besten Messwert wird von den Gutachtern, die die Texte blind lesen, fast nie als bester Text ausgewählt. Bei einem der beiden ist er in 14 von 36 Fällen der schlechteste. Die Floskeln sind weg, die Sätze sind beschädigt. Von zehn kaputten Wendungen, die die Gutachter benannt haben, stammen acht ausschließlich aus den Finetune-Armen.

Die Zahlen

Gemessen mit dem Code aus meinem eigenen Projekt. Die erste Spalte ist die Slop-Metrik, gegen die trainiert wurde. Die zweite misst Satzbau, also Nominalstil und Passiv, und je niedriger, desto besser. Die letzten beiden zeigen zwei Wörter, die das Training sich selbst angewöhnt hat.

Arm	Banlist-Treffer /1k	Struktur-Slop	„maximal“	„absolut“
Basismodell	38,64	56,1	1	5
Basismodell + Prompt	21,04	33,7	1	1
Finetune	12,04	63,8	59	55
Finetune + Prompt	6,27	60,6	15	17

In der ersten Spalte passiert genau das, was passieren sollte. Der Prompt allein drückt den Wert um gut die Hälfte. Das Training allein drückt ihn stärker. Beides zusammen halbiert noch einmal, auf 6,27. Die zwei Werkzeuge stören sich nicht, sie stapeln sich.

Dann kommt der Lesetest, und der misst etwas ganz anderes. Zwei Gutachter haben alle 36 Vierergruppen gelesen, ohne zu wissen, welcher Text aus welchem Arm stammt, und jeweils den besten und den schlechtesten bestimmt. Einer urteilte nach dem Eindruck, ob ein deutscher Texter das geschrieben haben könnte, der andere strikt nach meiner Slop-Definition aus Teil 2.

Arm	Klingt nach Mensch: bester	schlechtester	Nach Slop-Definition: bester	schlechtester
Basismodell	7	1	2	1
Basismodell + Prompt	25	1	31	0
Finetune	0	20	0	34
Finetune + Prompt	4	14	3	1

Übersetzt heißt das: Von 36 Aufgaben gewinnt mein trainiertes Modell drei bis vier. Das nackte Modell mit dem Prompt gewinnt 25 bis 31. Wer eine Website-Sektion schreiben lassen will, fährt also in sieben von acht Fällen besser ohne mein Modell.

Der zweite Blick auf die Tabelle erklärt, warum. Der Gutachter, der nur auf Floskeln achtet, findet an meiner Kombination fast nichts auszusetzen: einmal Letzter. Der Gutachter, der auf die Sprache insgesamt schaut, setzt sie vierzehnmal ans Ende. Gleicher Text, zwei Brillen, entgegengesetztes Urteil.

Die Floskeln sind also wirklich weg. Kaputt ist etwas anderes.

Warum der beste Messwert schlecht liest

Der Prompt räumt die antrainierten Krücken weg, fast restlos. „eben alles“ fällt von 13 Vorkommen auf 0. „revolutionier…“ auf 0. „maximal“ von 59 auf 15, „absolut“ von 55 auf 17.

Was er nicht anfasst, ist der Satzbau. Beim Basismodell drückt der Prompt den Struktur-Slop von 56,1 auf 33,7, das ist ein Drittel weniger Nominalstil und Passiv. Beim Finetune bewegt sich derselbe Prompt von 63,8 auf 60,6 und damit fast nicht. Der Nominalstil ist im Basismodell eine Gewohnheit, die eine Anweisung abstellen kann. Im Finetune sitzt er in den Gewichten.

Dazu kommt etwas, das in keiner meiner Kennzahlen auftaucht. Die Gutachter haben in ihren Begründungen zehn kaputte Wendungen benannt. Acht der zehn kommen ausschließlich in den Finetune-Armen vor, im Basismodell keine einzige.

„Deine Daten bleiben deiner“

„Der Raven-Agent plant deinen Terminen“

So sieht der Unterschied an einer einzelnen Aufgabe aus. Alle Varianten sollten dieselbe Hero-Section schreiben. Das Basismodell mit Prompt:

„Meetings, die wirklich weiterarbeiten. Raven ist deine Meeting-Plattform für Planung, Durchführung, Protokollierung und Nachbereitung. Inhalte bleiben sicher bei dir, und dein Meeting wird zum aktiven Arbeitsraum.“

Mein trainiertes Modell:

„Verabschiede dich vom Meeting-Chaos. Raven organisiert deinen gesamten Meeting-Workflow, vom Planen über das effiziente Durchführen, intelligente Protokollierung, stimmungsvolle Analyse, eben alles.“

„Stimmungsvolle Analyse, eben alles.“ Das ist das Modell, das ich gebaut habe, um Floskeln zu vermeiden.

Das ist keine systematische Grammatikprüfung. Ich habe nur nachgeschlagen, woher die Fehler kommen, die die Gutachter selbst benannt haben. Für eine Aussage über die Fehlerrate im Ganzen reicht das nicht. Für die Frage, warum ein Arm mit wenigen Floskeln schlecht bewertet wird, reicht es.

Der Fehler im Framework

Das Verfahren funktioniert so: Immer wenn das Modell gleich ein verbotenes Wort produzieren würde, springt der Sampler zurück und wählt eine Alternative aus den zwanzig wahrscheinlichsten nächsten Wörtern. Aus diesen Paaren wird das Trainingsmaterial. Bei deutscher Werbesprache ist die Menge der Alternativen klein und immer dieselbe.

Das Framework hat diesen Fall vorgesehen. Es berechnet eine Obergrenze, damit kein einzelnes Wort das Trainingsmaterial dominiert. Für „inklusive“ errechnete es einen Deckel von 93 und schrieb ihn ins Protokoll. Danach passiert nichts mehr damit. Der Wert wird berechnet, ausgegeben und nie angewendet.

So stand „inklusive“ 218 Mal als bevorzugte Alternative im Trainingsmaterial. Die Bremse war eingebaut, sie wurde sogar angezeigt, und sie war nie mit den Rädern verbunden. Das trifft jeden, der mit diesem Framework trainiert, in jeder Sprache. Der Befund liegt als Issue 5 im Repository des Autors.

Was klappt

• Die Methode entfernt, worauf man sie ansetzt, und sie verträgt sich mit Prompting. 38,64 Treffer je 1.000 Tokens nackt, 21,04 mit Prompt, 12,04 mit Training, 6,27 mit beidem.
• Eine echte Floskel ist weg. „revolutionier…“ von 13 Vorkommen auf 5, mit Prompt auf 0.
• Drei Dinge überleben den Finetune: das deutsche Referenzprofil aus 860 Millionen Zeichen, für das es vorher kein Lineal gab; der Branchen-Spread-Diskriminator, der den Fachbegriff aus einer Branche von der Floskel trennt, die überall gleich oft auftaucht, und der in jeder Sprache funktioniert; der gemeldete Framework-Bug.
• Das Vierfeld-Design selbst. Zwei Schalter in allen vier Kombinationen machen den Unterschied zwischen „die Zahl wird besser“ und „der Text wird besser“ überhaupt erst sichtbar.
• Ein voller Lauf kostet neun Dollar auf einer H100. Das kann eine einzelne Person an einem Wochenende versuchen.

Was noch nicht klappt

• Das Modell schreibt schlechteres Deutsch als vorher. Nicht nur hölzerner, sondern falsch. Kasusfehler, abgebrochene Sätze. Das Basismodell macht diese Fehler nicht.
• Der Prompt kann das nicht reparieren. Floskeln bekommt er weg, Satzbau nicht. Der ist im Training in die Gewichte gewandert und bleibt dort.
• Der beste Messwert liefert die schlechtesten Texte. Genau der Arm, der in der Tabelle oben gewinnt, verliert beim Lesen gegen das Modell ohne jedes Training.
• Meine alte Erfolgszahl hielt nicht. Ich hatte 92 Prozent weniger Slop gemeldet. Gemessen hatte ich gegen dieselbe Liste, gegen die ich trainiert habe, das ist ein Zirkelschluss. Nachgerechnet bleiben rund 66 Prozent.
• Dass die Fähigkeiten erhalten blieben, ist unbelegt. Der Test lief über 100 Aufgaben, und der Unterschied war eine einzige davon. Das ist Zufall, keine Aussage.
• Der Lesetest wurde von Sprachmodellen bewertet. Ich habe die Texte selbst gegengelesen, und mein Lesen hat die Fehler gefunden, die keine Zahl gezeigt hat. Aber ein Blindtest mit mehreren Menschen, die nicht wissen, welcher Text von wem ist, hat nicht stattgefunden.

Alles offen, nimm es dir

Auf github.com/PhilflowIO/antislop-de liegen Code, Pipeline, das deutsche Referenzprofil, die Auswertungsskripte, das Projekttagebuch mit allen Sackgassen und die Zahlen aus diesem Artikel samt den Stellen, an denen sie nicht halten. Fang bei configs/antislop_prompt.md an. Acht Zeilen, kostet nichts, braucht keine Grafikkarte, läuft in jedem Modell, und in den Blindurteilen gewinnt dieser Arm 25 beziehungsweise 31 von 36 Aufgaben. Zum Weiterforschen taugen das Referenzprofil und der Branchen-Spread-Diskriminator, beide unabhängig vom gescheiterten Teil.

Die Modellgewichte liegen auf huggingface.co/PhilflowIO/gemma-3-12b-it-antislop-de, mit einer Model-Card, die oben als Erstes beide Hälften nennt. Lade es, wenn du bestimmte Wörter zuverlässig aus einem Text heraushaben musst, weil sie in einer Liste stehen, an die du gebunden bist. Der Preis ist Nacharbeit an der Grammatik, und die ist nicht optional. Acht kaputte Wendungen in 36 kurzen Texten kann man niemandem ungelesen geben.

Wer daran weiterarbeiten will, findet die offenen Enden in dieser Reihenfolge: die tote Bremse im Framework reparieren, gegen eine Liste messen, die das Training nie gesehen hat, und herausfinden, warum das Training die Syntax beschädigt. Der letzte Punkt ist der interessanteste, und ich habe dazu nichts als eine Beobachtung. Wenn du eine Erklärung findest, schreib mir.

Für meine eigenen Texte nehme ich übrigens den Prompt und lese gegen. Das Modell setze ich nicht ein. Ich bin mit der Idee eines deutschen Modells, das nicht klingt wie eine Pressemitteilung, nicht weit genug gekommen. Deshalb liegt alles offen. Vielleicht kommt jemand weiter als ich.

Quellen

Die Methode stammt nicht von mir. Sam Paech hat das Verfahren entwickelt und die Werkzeuge veröffentlicht; meine Arbeit ist die Portierung auf Deutsch, das Vierfeld-Design und die Befunde daraus. Der Fehler, den ich im Framework gefunden habe, ist ein Bug in einer Implementierung und kein Urteil über die Methode.

1. Paech, S., Roush, A., Goldfeder, J., Shwartz-Ziv, R. (2025): „Antislop: A Comprehensive Framework for Identifying and Eliminating Repetitive Patterns in Language Models“, arXiv:2510.15061. arxiv.org/abs/2510.15061
2. sam-paech/auto-antislop. Die Pipeline, die Generierung, Banlist-Pflege und Training zusammenhängt. Damit habe ich trainiert.
3. sam-paech/antislop-sampler. Der Sampler, der beim Schreiben zurückspringt, sobald ein verbotenes Wort fällig wäre.
4. sam-paech/slop-forensics. Das Werkzeug, mit dem sich Slop-Profile aus Textmengen ziehen lassen. Grundlage meines deutschen Referenzprofils.
5. Der von mir gemeldete Fehler an der nie angewendeten Obergrenze: auto-antislop, Issue 5
6. Gemma 4 Technical Report, arXiv:2607.02770. arxiv.org/abs/2607.02770
7. German Commons, coral-nlp/german-commons, Lizenz ODC-BY. Hauptquelle des deutschen Referenzprofils.
8. OpenSubtitles2018-DE über orgtre/top-open-subtitles-sentences. Zweite Korpusquelle, gefiltert gegen Calques.