Wie KI Sprache verarbeitet
Der Transformer ist die Bauweise, auf der fast alle heutigen Sprachmodelle beruhen. Das „T“ in ChatGPT steht dafür.
Wie ein Fließband mit vielen Stationen
Ein Transformer arbeitet wie ein Fließband: Vorne kommt Text hinein und wird in Tokens zerlegt. Dann durchläuft er viele gleich gebaute Stationen, an denen jedes Wort mit den anderen abgeglichen und sein Sinn verfeinert wird. Am Ende steht eine Vorhersage, welches Token als Nächstes passt. Dieses Token kommt hinten wieder dazu, und das Fließband läuft erneut.
Der Transformer erklärt typische Eigenschaften, die du bei jeder KI beobachtest: Sie schreibt Token für Token, darum erscheinen Antworten Wort für Wort. Sie hat ein begrenztes Kontextfenster. Und sie erfasst Zusammenhänge im ganzen Text gleichzeitig. Ob ChatGPT, Claude, Gemini oder Mistral: Unter der Oberfläche steckt bei allen eine Weiterentwicklung dieser Bauweise.
Klick auf „Nächstes Token“ und schau zu, wie der Satz Stück für Stück entsteht.
Für diese Übung braucht es JavaScript im Browser.
Vereinfachte Darstellung. Große Modelle haben Dutzende bis über hundert solcher Schichten.
Den Transformer stellten Forschende im Juni 2017 im Fachartikel „Attention Is All You Need“ vor. Das Neue: Er verzichtet auf ältere Bauweisen, die Text Wort für Wort nacheinander verarbeiteten, und setzt ganz auf Attention. Dadurch lässt er sich auf vielen Chips gleichzeitig trainieren, und genau das machte die heutigen großen Modelle möglich. Ursprünglich bestand er aus zwei Teilen: einem Encoder, der Text erfasst, und einem Decoder, der Text erzeugt. Die GPT-Modelle (Generative Pre-trained Transformer) und die meisten heutigen Chat-Modelle nutzen nur den Decoder. Modelle wie BERT nutzen nur den Encoder und eignen sich etwa für Suche und das Einordnen von Texten.
Quelle: Vaswani u. a.: Attention Is All You Need (arXiv, 12.06.2017)
Der nächste Schritt
In 30 Minuten klären wir, wo dein Team steht und was als Nächstes sinnvoll ist. Ein Erstgespräch, kein Verkaufsgespräch.