Wie KI Sprache verarbeitet
Der Tokenizer ist das Werkzeug, das einen Text in Tokens zerschneidet, bevor die KI ihn überhaupt zu sehen bekommt.
Wie die Vorbereitung in der Küche
Bevor gekocht wird, wird geschnitten. Der Tokenizer ist die Vorbereitung in der Küche: Er schneidet jeden Text in Stücke, die das Modell verarbeiten kann. Wie grob oder fein, folgt festen Regeln, die für jeden Text gleich sind.
Die KI sieht Stücke, keine einzelnen Buchstaben. Darum tut sie sich manchmal schwer mit Aufgaben auf Buchstabenebene, etwa Buchstaben in einem Wort zählen oder ein Wort rückwärts schreiben. Tippfehler und Langgezogenes wie „sooo“ versteht sie meist trotzdem, sie zerfallen nur in mehr Tokens.
Tipp einen eigenen Satz ein und wechsle zwischen den drei Schnittarten.
Für diese Übung braucht es JavaScript im Browser.
Vereinfachte Darstellung. Die Tokenizer von Claude, ChatGPT und Co. schneiden etwas anders. Dein Text bleibt in deinem Browser und wird nirgends hingeschickt.
Man kann Text auf drei Arten schneiden. Heute arbeiten fast alle großen Sprachmodelle mit Teilwörtern, zum Beispiel nach dem Verfahren Byte-Pair Encoding (BPE). Dabei lernt der Tokenizer vorab aus sehr viel Text, welche Buchstabenfolgen häufig zusammen vorkommen, und fasst sie zu einem Token zusammen.
| Schnitt | Gut daran | Haken daran |
|---|---|---|
| Ganze Wörter | wenige Stücke pro Satz | jede Wortform braucht einen eigenen Eintrag, neue Wörter fehlen |
| Teilwörter | häufige Wörter bleiben ganz, seltene werden zusammengesetzt | Schnittstellen wirken manchmal willkürlich |
| Zeichen | jedes Wort lässt sich darstellen | sehr viele Stücke, Bedeutung schwerer zu erfassen |
Der nächste Schritt
In 30 Minuten klären wir, wo dein Team steht und was als Nächstes sinnvoll ist. Ein Erstgespräch, kein Verkaufsgespräch.