Die sechs Schritte
Unser Beispiel ist ein schnell getippter Text mit fünf Fehlern: kleiner Satzanfang, „weis“ statt „weiß“, „das“ statt „dass“ ohne Komma, „stadt“ kleingeschrieben und ein überflüssiges Komma.
-
Text zerlegen
Absätze bleiben erhalten. Jeder Absatz wird in Sätze geteilt, Satzzeichen werden von Wörtern getrennt. So kann HORST auch lange Texte Stück für Stück bearbeiten.
Sätze1 · ich weis nicht das es so ist .
2 · Morgen gehen wir in die stadt , und kaufen ein . -
In Wortstücke übersetzen
Ein Computer rechnet mit Zahlen, nicht mit Buchstaben. Ein eigenes SentencePiece-Vokabular mit 32.000 Einträgen zerlegt jeden Satz in Wortstücke. Häufige Wörter sind ein Stück, seltene und falsch geschriebene werden zerlegt – das verrät dem Modell oft schon den Fehler.
Wortstücke (vereinfacht)▁ich▁weis▁nicht▁das▁es▁so▁ist▁.
Jedes Stück wird zu einer Nummer zwischen 0 und 31.999. -
Den ganzen Satz verstehen
Der Encoder macht aus jedem Wortstück einen Vektor aus 1.024 Zahlen. In sechs Schichten schaut jedes Stück auf alle anderen (Self-Attention, 16 Köpfe parallel). Danach steckt in „das“ auch die Information, dass davor „weiß nicht“ steht – und dort eigentlich „dass“ hingehört.
Encoder-Ausgabe (Schema)▁ich → [ 1.024 Werte ]
▁we → [ 1.024 Werte ]
is → [ 1.024 Werte ]
▁nicht → [ 1.024 Werte ]
… ein Vektor je Wortstück, jeder kennt den ganzen Satz -
Neu schreiben, Stück für Stück
Der Decoder schreibt den Satz von vorn neu. Bei jedem Schritt schaut er auf das, was er schon geschrieben hat, und über Cross-Attention auf den Eingabesatz. Meistens kopiert er – nur an Fehlerstellen weicht er ab.
Ausgabe wächstIch
Ich weiß
Ich weiß nicht
Ich weiß nicht ,
Ich weiß nicht , dass
Ich weiß nicht , dass es so ist . -
Mehrere Kandidaten abwägen
Statt immer nur das wahrscheinlichste nächste Stück zu nehmen, kann HORST mehrere Fortsetzungen parallel verfolgen (Beam Search) und am Ende die beste wählen. Das kostet etwas Zeit, verhindert aber, dass ein früher Fehlgriff den ganzen Satz verdirbt.
Kandidaten (Beispiel, Beam 3)1 · Ich weiß nicht, dass es so ist. ← gewählt
2 · Ich weiß nicht, ob es so ist.
3 · Ich weiß nicht das es so ist. -
Zusammensetzen und markieren
Die Wortstücke werden wieder zu Text, Satzzeichen rücken an ihren Platz. Ein Wortvergleich zwischen Eingabe und Ausgabe zeigt dir jede Änderung: durchgestrichen, was weg ist, markiert, was neu ist.
ErgebnisichIchweisweiß nicht,dasdass es so ist. Morgen gehen wir in diestadtStadt,und kaufen ein.
Warum ein Encoder-Decoder?
Bei einer Korrektur bleibt fast alles, wie es ist. Ein Encoder-Decoder passt genau dazu: Der Encoder liest den ganzen Satz auf einmal und in beide Richtungen, der Decoder schreibt ihn neu und kann dabei gezielt kopieren. Diese Bauform wurde ursprünglich für Übersetzung entwickelt – Korrektur ist eine Übersetzung von „fehlerhaftem Deutsch“ in „richtiges Deutsch“.
Mit 209 Millionen Parametern ist HORST klein im Vergleich zu großen Chat-Modellen. Dafür ist er auf genau eine Aufgabe trainiert, schnell und läuft auch ohne Grafikkarte. Er soll keine neuen Inhalte erzeugen – ganz ausschließen lässt sich das bei sehr fehlerhafter Eingabe aber nicht.
Lange Texte
Ein Modell kann nur eine begrenzte Zahl von Wortstücken auf einmal sehen. HORST bündelt deshalb aufeinanderfolgende Sätze zu Gruppen, die gerade noch hineinpassen. Seit Trainingsstufe 2 lernt HORST an Passagen mit bis zu 500 Wörtern und bis zu 1.024 Wortstücken, damit Zusammenhänge über Satzgrenzen hinweg erhalten bleiben.
Zwischen zwei Gruppen geht Kontext verloren. Bezieht sich ein Satz auf etwas weit davor, kann HORST das übersehen.
Schnell oder genau?
Die Demo bietet drei Stufen. Sie unterscheiden sich darin, wie viele Kandidaten Beam Search gleichzeitig verfolgt.
| Stufe | Kandidaten | Wann sinnvoll |
|---|---|---|
| Schnell | 1 | Kurze Texte, schnelle Prüfung. Auch die Benchmark wird so gemessen. |
| Ausgewogen | 3 | Längere Texte mit mehreren Fehlern pro Satz. |
| Sehr genau | 5 | Wichtige Texte – braucht etwas mehr Rechenzeit. |
Was HORST nicht tut
- Kein Wörterbuch, keine Regeln. Alles, was HORST über Deutsch weiß, steckt in seinen Gewichten. Es gibt keine Liste, in der nachgeschlagen wird.
- Kein Umformulieren. HORST korrigiert Fehler, verbessert aber nicht den Stil.
- Keine Erklärung aus dem Modell. Die Markierungen entstehen durch einen Vergleich von Ein- und Ausgabe, nicht durch das Modell selbst.