Wie KI Sprache verarbeitet
Attention ist der Mechanismus, mit dem eine KI für jedes Wort entscheidet, welche anderen Wörter im Text dafür gerade wichtig sind.
Wie ein Leuchtstift beim Lesen
Wenn du „Die Katze jagte die Maus, weil sie hungrig war“ liest, weißt du sofort: „sie“ ist die Katze. Steht dort „weil sie Angst hatte“, ist es die Maus. Du hast unbewusst die passenden Wörter mit dem Leuchtstift markiert. Attention macht genau das, für jedes Wort und alle gleichzeitig.
Attention erklärt, warum KI Zusammenhänge über lange Texte hinweg erkennt: Bezüge, Fürwörter, Fachbegriffe, die weit voneinander entfernt stehen. Es erklärt aber auch, warum sehr lange Eingaben schwierig sind: Je mehr Text, desto mehr Bezüge muss die KI abwägen, und Wichtiges kann untergehen. Steht das Wichtigste klar und an prominenter Stelle, hilft das der KI.
Wechsle zwischen den beiden Sätzen und klick auf ein Wort. Je kräftiger ein Wort markiert ist, desto mehr achtet die KI darauf.
Für diese Übung braucht es JavaScript im Browser.
Vereinfacht: Die Gewichte sind zur Veranschaulichung gewählt. Echte Modelle haben viele solcher Muster gleichzeitig.
Technisch bekommt jedes Token drei Rollen: eine Frage (Query), ein Erkennungsmerkmal (Key) und einen Inhalt (Value). Die Query eines Tokens wird mit den Keys aller anderen verglichen. Je besser sie zusammenpassen, desto mehr von deren Value fließt in die neue Darstellung des Tokens ein. Das passiert in vielen Köpfen gleichzeitig (Multi-Head Attention), die auf unterschiedliche Zusammenhänge achten, etwa auf Grammatik oder Bedeutung. Weil jedes Token auf jedes andere schaut, wächst der Rechenaufwand mit der Textlänge stark an. Darum gibt es zahlreiche Kniffe, um Attention schneller und sparsamer zu machen.
Der nächste Schritt
In 30 Minuten klären wir, wo dein Team steht und was als Nächstes sinnvoll ist. Ein Erstgespräch, kein Verkaufsgespräch.