Wie KI Sprache verarbeitet
Ein Token ist das kleinste Textstück, mit dem eine KI arbeitet: ein ganzes Wort, ein Wortteil oder ein einzelnes Zeichen.
Wie Lego-Steine
Stell dir Text als Lego-Bauwerk vor. Häufige Wörter wie „Haus“ sind ein fertiger Stein. Seltene oder lange Wörter setzt die KI aus mehreren kleinen Steinen zusammen. Die KI hat nur ihre eigene Kiste mit Steinen, ihren Wortschatz, und baut daraus jeden Text.
Kosten, Tempo und Längengrenzen von KI-Werkzeugen werden in Tokens gemessen, nicht in Wörtern. Deutsche Texte zerfallen oft in mehr Stücke als englische, weil lange zusammengesetzte Wörter selten fertig im Wortschatz stehen. Derselbe Inhalt kann auf Deutsch also mehr Tokens verbrauchen.
Klick auf ein Wort, um es in Tokens zu zerlegen.
Für diese Übung braucht es JavaScript im Browser.
Beispielhafte Zerlegung. Jedes KI-Modell schneidet etwas anders.
Jedes Modell hat einen festen Wortschatz (englisch: vocabulary), meist mit Zehntausenden bis über hunderttausend Tokens. Dazu kommen Sonder-Tokens mit eigener Aufgabe, etwa eines für unbekannte Textteile oder eines, das leere Plätze auffüllt, damit mehrere Eingaben gleich lang sind. Intern kennt das Modell jedes Token nur als Nummer in diesem Wortschatz.
Der nächste Schritt
In 30 Minuten klären wir, wo dein Team steht und was als Nächstes sinnvoll ist. Ein Erstgespräch, kein Verkaufsgespräch.