Beim Fine-Tuning wird ein bereits trainiertes Sprachmodell mit eigenen Beispielen nachtrainiert, damit es Stil, Format oder Fachsprache zuverlässiger trifft.
Was bedeutet der Begriff?
Fine-Tuning bedeutet, ein vortrainiertes Sprachmodell mit zusätzlichen, eigenen Beispielen weiterzutrainieren. Das Modell lernt dadurch ein bestimmtes Verhalten besser: einen Tonfall, ein festes Ausgabeformat oder die Fachsprache einer Branche. Es ist aber kein guter Weg, um einem Modell laufend aktuelles Faktenwissen beizubringen.
In der Praxis ist Fine-Tuning seltener nötig, als oft angenommen. Für aktuelles Firmenwissen ist RAG meist besser geeignet, weil sich Dokumente einfach austauschen lassen und Quellen nachvollziehbar bleiben. Oft genügen auch ein guter Prompt mit Beispielen (Few-Shot) und strukturierte Ausgaben. Fine-Tuning lohnt sich erst, wenn solche Mittel nicht ausreichen und genügend Qualitätsdaten vorliegen. Es verursacht Aufwand für Datenaufbereitung, Tests und Pflege, und bei jedem Modellwechsel muss das Nachtrainieren unter Umständen wiederholt werden.
Beispiel aus einem KMU
Ein Beispiel aus einem KMU: Ein Unternehmen möchte, dass technische Anfragen immer in einem festen Schema klassifiziert werden. Mit einigen hundert sauber beschrifteten Beispielen kann ein fein abgestimmtes Modell diese Aufgabe zuverlässiger erledigen als ein allgemeines Modell mit einem langen Prompt.