In Zahlen
Quellen
HORST nutzt ausschließlich frei verfügbare Texte. Jede Quelle hat eine klare Rolle – und die Auswertungsdaten werden nie zum Lernen verwendet.
| Quelle | Verwendung | Lizenz |
|---|---|---|
| Wikipedia (deutsch) | saubere Sätze; Versionsgeschichte für Korrekturpaare | CC BY-SA 4.0 / GFDL |
| FineWeb2-HQ (deutsch) | saubere Sätze aus dem Web | ODC-By 1.0 |
| Wikipedia-Edits (Boyd 2018) | Fehlerpaare ab Stufe 2 | CC BY-SA 3.0 |
| Falko-MERLIN | Lernertexte: Train zum Lernen, Dev/Test nur zur Auswertung | CC BY 3.0 / CC BY-SA 4.0 |
| OmniGEC (deutscher Teil) | 1.132 menschliche Wikipedia-Korrekturen; 4.075 gefilterte Forenpaare | MIT |
| german-spelling-data | eigene Fehlerpaare | siehe Datensatz |
| german-ortho | alte Hard-Benchmark, nur Auswertung | Apache-2.0 |
Fehlerpaare aus Wikipedia-Versionen
Jede Wikipedia-Seite speichert jede Änderung. Wenn jemand einen Tippfehler verbessert, entsteht ganz nebenbei ein perfektes Lernbeispiel: der Satz vorher und der Satz nachher. HORST gräbt diese Paare systematisch aus.
Versionen laden
Die Versionsdumps werden in Abschnitten verarbeitet, vier Rechenjobs parallel.
Vergleichen
Aufeinanderfolgende Versionen werden Satz für Satz gegenübergestellt.
Kleine Änderungen behalten
Nur Sätze mit wenigen geänderten Wörtern zählen – große Umbauten sind Stil, nicht Korrektur.
Titel merken
Zu jedem Paar wird der Artikeltitel gespeichert. Das braucht die Dekontamination.
Pro Abschnitt fallen rund 33.000 Paare an. Zwei Abschnitte werden bewusst zurückgehalten: Aus ihnen entsteht die Entwicklungs-Benchmark, auf der Entscheidungen fallen.
Qualitätsfilter
- Wikipedia-Paare: Änderungen an Zahlen, Namen und Links fliegen raus. Ein geändertes Datum ist eine inhaltliche Korrektur, kein Rechtschreibfehler.
- Forenpaare: Diese Korrekturen stammen von einem fremden Sprachmodell und neigen zum Umformulieren. Sie kommen nur durch, wenn die Satzzahl gleich bleibt, die Länge um höchstens 20 % schwankt und höchstens jedes fünfte Wort geändert wurde. Ob sie überhaupt helfen, entscheidet ein A/B-Test.
Dekontamination
Eine Benchmark ist nur etwas wert, wenn das Modell ihre Sätze nie gesehen hat. Weil Trainingsdaten und Benchmark teils aus derselben Wikipedia stammen, prüft HORST jede neue Trainingsquelle dreifach:
Exakt
Steht ein Benchmark-Satz wörtlich in den Trainingsdaten, fliegt er raus.
8-Gramm
Teilt ein Trainingssatz acht Wörter in Folge mit einem Benchmark-Satz, gilt er als Beinahe-Duplikat.
Artikel
Alle Versionen der Artikel, aus denen die Benchmark stammt, werden komplett ausgeschlossen.
Geprüft wird gegen die Test- und die Entwicklungs-Benchmark sowie gegen die Dev- und Testsätze von Falko-MERLIN. Ergebnis jedes Laufs ist ein Bericht pro Quelle – das Ziel sind null Treffer.
Gelernte Verwechslungen und Fallen-Sätze
Verwechslungen: Aus allen echten Paaren wird gezählt, welches falsche Wort wie oft durch welches richtige ersetzt wurde. Diese Statistik mit dem Ziel von über 100.000 Einträgen erweitert die handgepflegte Liste im Rauschgenerator – so entstehen künstliche Fehler, die echten ähneln.
Fallen-Sätze: HORSTs größte Schwäche ist Übereifer: Nur 88 % der fehlerfreien Sätze bleiben unverändert. Deshalb kommen gezielt fehlerfreie Sätze ins Training, die viele „verdächtige“ Stellen enthalten. Die richtige Antwort ist dort: nichts ändern.
Spezialfehler: Für Groß- und Kleinschreibung, Kommas und lautgetreue Schreibung entstehen Paare direkt während des Trainings, in beliebiger Menge. Für eine spätere Veröffentlichung liegen zusätzlich 15 Millionen gespeicherte Paare bereit (rund 13,5 GB).