Zeitleiste
- 29.09.erledigt
Projektstart und Stufe 1
Architektur festgelegt, Tokenizer trainiert, Stufe 1 in zwei Sitzungen auf künstlichen Fehlern trainiert.
- 30.09.erledigt
Gewichte veröffentlicht
Modell und Tokenizer auf Hugging Face, Spezialdatensätze gebaut.
- 02.10.erledigt
Demo und Logo
Browser-Demo auf ZeroGPU, neue Marke mit Funke.
- 05.10.erledigt
Stufe 2 und HORST-Hard
Stufe 2 mit echten Fehlern und langen Passagen trainiert, unabhängige Benchmark gebaut.
- 06.10.erledigt
Messung und Phase-3-Werkzeug
Stufe 1, Stufe 2 und LanguageTool auf HORST-Hard gemessen. KV-Cache, Dekontamination, Filter und neue Trainingsfunktionen gebaut und getestet.
- 06.–09.10.läuft
Daten für Stufe 3
Mining der Wikipedia-Versionen, Dekontamination, Filter und Verwechslungen auf echten Daten, Entwicklungs-Benchmark.
- ab 10.10.geplant
Vergleichslauf mit Schwelle
Zwei kurze Läufe von je etwa 1,5 Stunden, mit und ohne Forenpaare. Weiter geht es nur mit mindestens +0,02 F0,5 auf dem vollen Falko-Dev-Satz.
- 10.–16.10.geplant
Großer Lauf und Rückwärtsmodell
- Stufe 3a: 8 Stunden mit neuer Mischung
- Rückwärtsmodell: 4 Stunden
- Erzeugung von 2–3 Mio. Fehlersätzen: 3 Stunden
- Dekodier-Tuning auf den Entwicklungsdaten
- 17.–23.10.geplant
Rückübersetzung und Endmessung
Stufe 3c mit Rückübersetzung (11 Stunden), danach Mittelung der besten Zwischenstände und eine einzige Endmessung auf dem HORST-Hard-Test – gegen LanguageTool, Stufe 1 und Stufe 2.
- danachgeplant
Veröffentlichung
Neue Gewichte, Demo mit KV-Cache, HORST-Hard als eigener Datensatz und eine Entscheidung über die Lizenz.
Ziele für Stufe 3
Die Ziele wurden aus den Werten von Stufe 1 abgeleitet, bevor Stufe 2 gemessen war. Maßgeblich ist die Endmessung auf dem HORST-Hard-Test.
| Ziel | Stufe 1 | Stufe 2 | Ziel | Stand |
|---|---|---|---|---|
| Lernertexte | 0,37 | 0,64 | ≥ 0,50 | erreicht |
| Schwere Kommas | 0,77 | 0,95 | ≥ 0,85 | erreicht |
| Wikipedia echt | 0,16 | 0,26 | ≥ 0,25 | knapp erreicht |
| Fehlerfreie Sätze unverändert | 95 % | 88 % | ≥ 97 % | offen |
| Lange Texte | – | – | ≥ 0,80 | nicht gemessen |
| Besser als LanguageTool | 9 von 10 | 10 von 10 | ≥ 9 von 11 | lange Texte fehlen |
GPU-Budget
Kaggle stellt 30 GPU-Stunden pro Woche bereit. Der Plan lässt in jeder Woche Reserve, Läufe sind jederzeit fortsetzbar.
Risiken und Gegenmittel
Auswendiglernen
Die wenigen Lernerpaare werden zu oft gesehen. Gegenmittel: Edit-Dropout, mehr Dropout, kleinerer Anteil, getrennte Prüfdaten.
Rauschende Messung
200 Sätze schwanken stark. Gegenmittel: volle Prüfsätze, Beam Search und eine harte Schwelle von +0,02.
Leck über Wikipedia
Benchmark-Artikel stecken auch in den Versionsdumps. Gegenmittel: 8-Gramm-Filter, Artikel-Ausschluss, eingefrorener Test.
Einseitige Rückübersetzung
Das Rückwärtsmodell könnte nur die Lernerfehler nachahmen. Gegenmittel: Sampling, Filter und Qualitätsprüfung vor dem Einsatz.
Fremd korrigierte Forenpaare
Sie können Umformulierungen enthalten und eigene Nutzungsbedingungen haben. Gegenmittel: strenger Filter, A/B-Test, Klärung vor jeder Veröffentlichung.
Knappe GPU-Zeit
Ein abgebrochener Lauf kostet Stunden. Gegenmittel: Reserve in jeder Woche, nichts doppelt, alle Läufe fortsetzbar.