Neue GPU-Zeit, neue Läufe
Sobald das wöchentliche GPU-Kontingent zurück ist, starten zwei kurze Vergleichsläufe für Stufe 3 – einer mit und einer ohne Forenpaare. Erst wenn einer davon mindestens 0,02 F0,5 zulegt, folgt der große Lauf.
Meilensteine, Messungen und Entscheidungen – in der Reihenfolge, in der sie passiert sind. Das Neueste steht oben.
Sobald das wöchentliche GPU-Kontingent zurück ist, starten zwei kurze Vergleichsläufe für Stufe 3 – einer mit und einer ohne Forenpaare. Erst wenn einer davon mindestens 0,02 F0,5 zulegt, folgt der große Lauf.
Im Testraum korrigiert HORST eigene Texte live über die Demo. Im Fehlerlabor kannst du Sätze erst kaputt machen und dann reparieren lassen.
Das Korrektur-Duell ist ein Spiel mit acht Sätzen. Der Spickzettel sammelt häufige Fehler samt Regel. Dazu kommen ein F0,5-Rechner auf der Benchmark-Seite und eine Markenseite.
Die erste Messung auf der neuen, unabhängigen Benchmark ist da. Echte Fehler im Training haben sich gelohnt:
Bevor neue GPU-Zeit verbraucht wird, steht das Werkzeug. Alles einzeln geprüft, elf Selbsttests laufen grün:
Entschieden ist auch: Gefilterte Forenpaare werden per A/B-Test geprüft, und die Rückübersetzung mit eigenem Rückwärtsmodell ist fest eingeplant.
Vier parallele Rechenjobs durchsuchen die restlichen Versionsdumps nach kleinen Korrekturen – jeweils rund 40 Abschnitte mit etwa 33.000 Paaren. Ziel sind rund fünf Millionen neue echte Fehlerpaare. Zwei Abschnitte bleiben für die Entwicklungs-Benchmark zurück.
Die alte Benchmark war vermutlich durch Überschneidungen mit dem Training geschönt. HORST-Hard ist neu gebaut: aus Textabschnitten, die das Training nie gelesen hat, mit echten Lernerfehlern und echten Wikipedia-Korrekturen. Eine Kategorie besteht nur aus fehlerfreien Sätzen – zur Kontrolle.
HORST läuft jetzt im Browser, auf einer geteilten Grafikkarte bei Hugging Face. Bis zu 500 Wörter auf einmal, drei Genauigkeitsstufen, ein Wortzähler und eine Ansicht, die jede Änderung markiert.
Der Querbalken des H ist ein Funke: Er verbindet die beiden Stämme und steht zugleich für den roten Korrekturstift. Zwei Farben – Tinte und Korrekturrot – und eine eigens gezeichnete Wortmarke.
Für Groß- und Kleinschreibung, Kommas und lautgetreue Schreibung entstehen Fehlerpaare jetzt direkt im Training, in beliebiger Menge. Zusätzlich liegen 15 Millionen gespeicherte Paare bereit. Außerdem lernt Stufe 2 an Passagen mit bis zu 500 Wörtern.
Modell (fp16, 418 MB) und Tokenizer liegen auf Hugging Face, zusammen mit einer ausführlichen Modellbeschreibung samt Vorbehalten. Der Code zum Laden ist dabei.
Die Regeln stehen fest: kein Fine-Tuning, keine fremden Gewichte, alles in der Cloud. Statt einer kleinen Variante mit 61 Millionen Parametern wird es die große mit 209 Millionen. Die erste Trainingssitzung lag auf der alten Benchmark knapp vor LanguageTool – ein Ergebnis, das sich später als zu optimistisch herausstellte.