Wie KI-Modelle entstehen
Englischer Fachbegriff: Reinforcement Learning from Human Feedback
RLHF (Reinforcement Learning from Human Feedback) heißt: Menschen vergleichen Antworten der KI, und das Modell lernt aus diesen Urteilen, welche Antworten bevorzugt werden.
Wie eine Kochschule mit Verkostung
In einer Kochschule kochen die Lernenden zwei Varianten, und die Jury sagt, welche besser schmeckt. Ein Rezept für „gut“ gibt es dabei nicht. Das Gespür entsteht aus vielen solchen Vergleichen. RLHF funktioniert genauso: nicht mit Musterlösungen, sondern mit Vorlieben.
RLHF ist ein Grund, warum Assistenten wie ChatGPT oder Claude hilfsbereit, höflich und meist vorsichtig antworten. Es erklärt aber auch typische Schwächen: Bevorzugen Menschen beim Bewerten freundliche, selbstsichere oder lange Antworten, lernt das Modell genau das, manchmal auf Kosten der Genauigkeit. Fachleute sprechen von Sykophantie, also Gefälligkeit: Die KI gibt dir eher recht, als dir zu widersprechen. Frag darum ruhig aktiv nach Gegenargumenten.
Du bist die Jury: Wähl jeweils die bessere Antwort.
Für diese Übung braucht es JavaScript im Browser.
Vereinfacht: Echte Belohnungsmodelle lernen aus Hunderttausenden solcher Vergleiche. Die Alpenblick GmbH ist erfunden.
RLHF läuft in zwei Schritten. Zuerst wird ein Belohnungsmodell (Reward Model) trainiert, das vorhersagt, welche von zwei Antworten Menschen besser finden. Dann wird das Sprachmodell mit Reinforcement Learning, also Lernen durch Belohnung, so angepasst, dass es Antworten mit hoher Belohnung schreibt. Damit es sich dabei nicht zu weit vom Ausgangsmodell entfernt und das Belohnungsmodell nicht austrickst, wird es gebremst. Es gibt Varianten: DPO (Direct Preference Optimization) lernt direkt aus den Vergleichen, ohne eigenes Belohnungsmodell. Bei RLAIF bewertet statt eines Menschen eine KI nach festgelegten Grundsätzen. Anthropic nennt seinen Ansatz dafür Constitutional AI.
Der nächste Schritt
In 30 Minuten klären wir, wo dein Team steht und was als Nächstes sinnvoll ist. Ein Erstgespräch, kein Verkaufsgespräch.