Wie KI-Modelle entstehen
Pretraining ist das Grundtraining eines Sprachmodells: Es liest riesige Mengen Text und übt dabei immer wieder, das nächste Token vorherzusagen.
Wie jahrelanges Lesen vor dem ersten Job
Stell dir jemanden vor, der Millionen Bücher, Artikel und Webseiten gelesen und bei jedem Satz geraten hat, wie er weitergeht. So entsteht ein enormes Gespür für Sprache und viel Allgemeinwissen. Wie man Kundschaft höflich berät, hat diese Person dabei aber noch nicht gelernt.
Was ein Modell grundsätzlich weiß und wie gut es mit Deutsch umgehen kann, entscheidet sich im Pretraining. Darum hat jedes Modell einen Wissensstand (englisch: knowledge cutoff): Was danach passiert ist, kennt es nicht, außer es bekommt die Information über eine Websuche oder deine Unterlagen. Und weil die Daten zum Großteil aus dem Internet stammen, stecken auch dessen Schieflagen im Modell.
Lass die KI weiterlesen und schau, wie sich ihre Vorhersage mit jedem Trainingsschritt verbessert.
Für diese Übung braucht es JavaScript im Browser.
Vereinfacht: In den Trainingstexten folgt hier 60-mal „Kaffee“, 35-mal „Tee“ und 5-mal „Milch“ auf 100 solcher Sätze. Die Lernregel ist echt.
Ein Sprachmodell besteht aus Milliarden einstellbarer Zahlenwerte, den Parametern. Nach jeder Vorhersage misst eine Fehlerfunktion (Cross-Entropy), wie wenig Wahrscheinlichkeit das Modell dem tatsächlich folgenden Token gegeben hat, und alle Parameter werden ein winziges Stück in die bessere Richtung verschoben. Vorher werden die Daten gesammelt und gefiltert: Doppeltes, Minderwertiges und Problematisches fliegt raus, zunehmend kommen auch künstlich erzeugte Trainingstexte dazu. Das Training läuft auf Tausenden Spezialchips über Wochen bis Monate. Dabei zeigte sich ein verlässliches Muster, die Scaling Laws: Mehr Daten, mehr Parameter und mehr Rechenleistung verbessern ein Modell vorhersehbar. Welche Daten verwendet werden dürfen, ist rechtlich und ethisch umstritten, etwa beim Urheberrecht.
Der nächste Schritt
In 30 Minuten klären wir, wo dein Team steht und was als Nächstes sinnvoll ist. Ein Erstgespräch, kein Verkaufsgespräch.