Ergebnisse je Kategorie
F0,5 je Kategorie, 200 Aufgaben pro Kategorie, Dekodierung mit Beam 1. Höher ist besser.
Lange Texte sind für HORST noch nicht gemessen: Das braucht den neuen KV-Cache-Dekodierer.
Fehlerfreie Sätze
Die zwölfte Kategorie enthält Sätze ohne Fehler. Hier zählt, wie oft ein System sie unverändert lässt. Das ist die eine Stelle, an der Stufe 2 schlechter wurde.
Alle Werte
F0,5 aller drei Systeme, für Stufe 2 zusätzlich Precision (P) und Recall (R). Der beste F0,5-Wert je Zeile ist unterstrichen.
| Kategorie | n | Stufe 2 | P | R | Stufe 1 | LanguageTool |
|---|---|---|---|---|---|---|
| Groß und klein | 200 | 0,94 | 0,96 | 0,88 | 0,94 | 0,64 |
| Kommas (schwer) | 200 | 0,95 | 0,96 | 0,91 | 0,77 | 0,24 |
| Getrennt/zusammen | 200 | 0,91 | 0,93 | 0,82 | 0,90 | 0,05 |
| Homophone | 200 | 0,95 | 0,96 | 0,93 | 0,92 | 0,36 |
| Grammatik | 200 | 0,89 | 0,91 | 0,84 | 0,92 | 0,39 |
| Tippfehler (dicht) | 200 | 0,91 | 0,92 | 0,85 | 0,91 | 0,62 |
| Lautgetreu | 200 | 0,94 | 0,96 | 0,86 | 0,85 | 0,55 |
| Mix extrem | 200 | 0,87 | 0,90 | 0,78 | 0,88 | 0,39 |
| Lernertexte (echt) | 200 | 0,64 | 0,74 | 0,42 | 0,37 | 0,43 |
| Wikipedia (echt) | 200 | 0,26 | 0,58 | 0,08 | 0,16 | 0,16 |
| Lange Texte | 200 | – | – | – | – | 0,32 |
| Makro-F0,5 (10 Kategorien) | 2.000 | 0,83 | 0,76 | 0,38 | ||
| Kontrolle: unverändert | 200 | 88 % | 95 % | 45 % |
Was wir daraus lernen
- Künstliche Fehler sind gelöst. In allen acht synthetischen Kategorien liegt HORST bei 0,87 oder höher.
- Echte Fehler sind der Hebel. Mit echten Paaren im Training stieg der Wert bei Lernertexten von 0,37 auf 0,64, bei schweren Kommas von 0,77 auf 0,95.
- Wikipedia-Korrekturen bleiben schwer. Recall 0,08: Viele echte Wikipedia-Änderungen sind Inhalt oder Stil, nicht Rechtschreibung. Die Obergrenze ist hier niedrig.
- Mehr Mut, mehr Übergriffe. Stufe 2 korrigiert mehr – und lässt fehlerfreie Sätze seltener in Ruhe (95 % → 88 %). Fallen-Sätze im Training sollen das beheben.
Methodik
F0,5 kombiniert Precision (wie viele Änderungen richtig waren) und Recall (wie viele Fehler gefunden wurden). Die 0,5 bedeutet: Precision zählt doppelt. Eine falsche Korrektur ist schlimmer als eine verpasste – genau wie im echten Leben.
Gezählt wird auf Ebene einzelner Änderungen (Edits). Der Scorer ist eine eigene Näherung an MaxMatch, nicht der offizielle ERRANT-Scorer. Die Zahlen sind deshalb mit Fachliteratur nur grob vergleichbar. Gemessen wurde mit Beam 1. Der Makrowert ist der Mittelwert über die zehn Korrekturkategorien mit HORST-Ergebnis.
Selbst rechnen: der F0,5-Rechner
Stell ein, wie viele Fehler HORST richtig korrigiert, wie oft er falsch eingreift und wie viele er übersieht. Der Rechner zeigt Precision, Recall, F0,5 und zum Vergleich F1 – und was ein weiterer Fehler kostet.
„Lernertexte“ ist nachgestellt mit Beispielzahlen und ergibt etwa die Werte von HORST Stufe 2 auf Lernertexten.
- Precision
- –
- Recall
- –
- F0,5
- –
- F1
- –
So entstand HORST-Hard
Zwölf Kategorien zu je 200 Aufgaben. Die synthetischen Kategorien stammen aus Wikipedia- und FineWeb-Abschnitten, die das Training nie gelesen hat; jeder Satz wurde gegen die Trainingssätze geprüft. Echte Fehler kommen aus dem Testteil von Falko-MERLIN und aus echten Wikipedia-Korrekturen.
Der Test bleibt eingefroren und wird nur an Meilensteinen gemessen. Alle Entscheidungen im Training fallen auf einer getrennten Entwicklungs-Benchmark.