Wie KI-Modelle entstehen
Englischer Fachbegriff: Knowledge Distillation
Bei der Destillation lernt ein kleines Modell von einem großen: Es übt mit dessen Antworten und wird so fast so gut, braucht aber viel weniger Rechenleistung.
Wie eine Lehre im Meisterbetrieb
Wer eine Lehre macht, liest nicht alle Fachbücher der Welt, sondern schaut im Meisterbetrieb genau zu, wie es richtig geht. So lernt man in kurzer Zeit, wofür andere Jahre gebraucht haben. Bei der Destillation ist das große Modell der Lehrbetrieb, das kleine Modell lernt wie in der Lehre.
Viele kleine, günstige Modelle, die schnell antworten oder sogar auf dem Handy laufen, sind durch Destillation entstanden. Für dich heißt das: Ein kleines Modell kann für Alltagsaufgaben völlig reichen und ist dabei schneller und billiger. Bei sehr schwierigen oder ungewöhnlichen Fragen merkt man den Unterschied zum großen Vorbild aber meist.
Lass das kleine Modell vom großen lernen und vergleich die beiden Verteilungen.
Für diese Übung braucht es JavaScript im Browser.
Vereinfachte Darstellung mit gewählten Werten. Die Lernregel ist echt.
Das große Modell heißt Lehrmodell (teacher), das kleine Schülermodell (student). Das Schülermodell lernt nicht nur die richtige Antwort, sondern die ganze Wahrscheinlichkeitsverteilung des Lehrmodells, also auch, welche Alternativen fast richtig wären. Dadurch lernt es pro Beispiel mehr als aus reinen Musterlösungen. DeepSeek hat so das Denkvermögen seines Modells R1 auf sechs kleinere Modelle übertragen, die auf Llama und Qwen aufbauen, und diese ebenfalls offen veröffentlicht. Viele Anbieter schließen in ihren Nutzungsbedingungen aus, dass ihre Modelle zum Trainieren konkurrierender Modelle verwendet werden.
Der nächste Schritt
In 30 Minuten klären wir, wo dein Team steht und was als Nächstes sinnvoll ist. Ein Erstgespräch, kein Verkaufsgespräch.