Das Prinzip
Das Modell bekommt einen fehlerhaften Satz und soll Wortstück für Wortstück den richtigen schreiben. Liegt es daneben, werden alle 209 Millionen Parameter ein winziges Stück in die Richtung verschoben, die den Fehler kleiner gemacht hätte. Das wiederholt sich viele Millionen Male.
Etwa jeder zehnte Satz bleibt bewusst fehlerfrei. So lernt HORST auch, richtige Sätze in Ruhe zu lassen. In Phase 3 steigt dieser Anteil auf jeden fünften.
Drei Stufen
- Stufe 1abgeschlossen
Künstliche Fehler
Saubere Sätze aus der deutschen Wikipedia und FineWeb2-HQ, beim Training laufend mit Fehlern versehen. Nach zwei Sitzungen erreichte das Training ein Plateau.
Makro-F0,5 auf HORST-Hard: 0,76 · bei echten Lernertexten nur 0,37
- Stufe 2abgeschlossen
Echte und künstliche Fehler, lange Texte
Eine Mischung aus künstlichen Fehlern, Wikipedia-Korrekturen, eigenen Fehlerpaaren, Lernertexten aus Falko-MERLIN und Spezialfehlern. Dazu Passagen mit bis zu 500 Wörtern und ein Kontext von 1.024 Wortstücken.
Makro-F0,5: 0,83 · Lernertexte 0,37 → 0,64 · Kommas 0,77 → 0,95
- Stufe 3in Arbeit
Echte Fehler, saubere Messung
Millionen neue Korrekturpaare aus Wikipedia-Versionen, gelernte Verwechslungen, fehlerfreie Fallen-Sätze, Edit-Dropout und Rückübersetzung mit einem eigenen Rückwärtsmodell.
Der Rauschgenerator
Saubere Sätze gibt es reichlich, Sätze mit echten Fehlern und ihrer Korrektur kaum. Deshalb baut ein Rauschgenerator während des Trainings laufend neue, realistische Fehler ein – jeder Satz sieht bei jedem Durchgang anders aus.
| Fehlerart | Beispiel | Wie es entsteht |
|---|---|---|
| Tippfehler | Haus → | Buchstaben werden durch Nachbarn auf der Tastatur ersetzt, vertauscht, verdoppelt oder ausgelassen. |
| Umlaute und ß | Straße → | ä, ö, ü und ß werden durch ae, oe, ue, ss oder den Grundbuchstaben ersetzt. |
| Verwechslungen | seit → | Gleich klingende Wörter wie das/dass, seit/seid oder wieder/wider werden vertauscht. |
| Groß und klein | Montag → | Nomen klein, Verben groß, Satzanfänge klein. |
| Kommas | hoffe, dass → | Kommas werden weggelassen oder an falscher Stelle ergänzt. |
| Endungen | einem → | Artikel- und Wortendungen werden vertauscht. |
| Lautgetreu | viel → | Wörter werden so geschrieben, wie man sie spricht. |
Markiert: richtig · durchgestrichen: die erzeugte Fehlerform.
Die Mischung
Ab Stufe 2 kommen die Paare aus mehreren Quellen. Wie viel jede beiträgt, ist eine der wichtigsten Stellschrauben. So sieht die Mischung für den nächsten Testlauf aus:
Fallen-Sätze sind fehlerfreie Sätze mit Stellen, an denen man leicht falsch korrigiert. Ein zweiter Lauf testet zusätzlich bis zu 8 % gefilterte Forenbeiträge.
Hardware und Ablauf
Alles läuft in der Cloud auf Kaggle: Daten aufbereiten auf CPUs, Training auf zwei Grafikkarten. Eine Sitzung ist zeitlich begrenzt. Deshalb wechseln sich zwei Trainings-Notebooks ab und übernehmen jeweils den letzten Stand des anderen.
- Grafikkarten
- 2 × T4parallel über DDP
- Rechengenauigkeit
- fp16Mixed Precision
- Tempo
- ~12.000Wortstücke pro Sekunde
- Ein Schritt
- ~1,95 sje Trainingsschritt
- Budget
- 30 hGPU-Zeit pro Woche
- Abbruch
- Geduld 44 Messungen ohne Fortschritt = Ende
Gegen Überanpassung
Die Lernertexte aus Falko-MERLIN sind wertvoll, aber knapp: rund 19.000 Paare, die das Modell hundertfach sieht. Damit es sie nicht einfach auswendig lernt, gibt es in Phase 3 mehrere Gegenmittel:
- Edit-Dropout: Aus einem echten Paar wird nur ein Teil der Fehler übernommen. Das Ziel bleibt vollständig korrekt – so entstehen viele Varianten aus einem Beispiel.
- Mehr Dropout: Beim Weitertrainieren werden 20 % der Verbindungen zufällig ausgeschaltet.
- Lernrate gegen null: Im letzten Drittel sinkt die Lernrate linear, damit das Modell sanft landet.
- Getrennte Prüfdaten: Entscheidungen fallen auf einer eigenen Entwicklungs-Benchmark, nie auf dem Test.
- Harte Schwellen: Eine Stufe gilt nur als besser, wenn sie auf dem vollen Falko-Dev-Satz mindestens 0,02 F0,5 zulegt.
Rückübersetzung
Ein zweites, kleineres Modell mit 61 Millionen Parametern lernt die Gegenrichtung: aus richtigem Deutsch typische Fehler machen. Es erzeugt aus sauberen Sätzen zwei bis drei Millionen neue Fehlersätze, die echten Fehlern näher kommen als jeder handgeschriebene Rauschgenerator.
Damit das nicht schiefgeht, werden die erzeugten Paare gefiltert: Nur Sätze, in denen 3 bis 40 % der Wörter geändert wurden, kommen durch, und eine Qualitätsprüfung entscheidet, ob sie ins Training dürfen.