Die meisten Unternehmen, die Fine-Tuning anfragen, brauchen RAG. Was Fine-Tuning technisch bedeutet, steht im Glossar unter Fine-Tuning. Hier geht es um die Entscheidung davor: welche Methode zu welchem Ziel passt, was Fine-Tuning an Daten verlangt und welche Folgekosten dabei entstehen.
Die vier Stufen der Modellanpassung im Überblick
Von günstig nach teuer, und in dieser Reihenfolge zu prüfen:
Prompting. Die Aufgabe wird im Anweisungstext präzise beschrieben. Kostet nichts außer Sorgfalt und löst mehr Fälle, als die meisten erwarten.
Few-Shot. Der Anweisung werden zwei bis fünf Beispiele beigelegt. Damit lässt sich ein Format oder ein Tonfall zuverlässig erzwingen.
RAG (Retrieval Augmented Generation). Das Modell erhält zur Laufzeit die passenden Ausschnitte aus Ihren eigenen Dokumenten und antwortet darauf gestützt.
Fine-Tuning. Ein vorhandenes Modell wird mit eigenen Beispielpaaren weitertrainiert und ändert dauerhaft sein Verhalten.
Fine-Tuning oder RAG: die entscheidende Unterscheidung
Hier liegt der Denkfehler, der die meisten Projekte teuer macht:
Fine-Tuning ändert, wie ein Modell antwortet. RAG ändert, was es weiß.
Wer dem Modell den eigenen Produktkatalog „beibringen“ will, greift fast immer zum falschen Werkzeug. Ein feinjustiertes Modell kann keine Quelle angeben, und bei jeder Preisänderung ist sein Wissen veraltet. RAG liefert die Auskunft mit Belegstelle und ist am Tag der Katalogänderung aktuell.
Fine-Tuning lohnt sich, wenn Form und Verhalten das Ziel sind: ein bestimmtes Ausgabeformat, eine feste Klassifikationslogik, ein Fachjargon, eine Antwortlänge. Also dort, wo nicht das Wissen fehlt, sondern die Disziplin.
Datenanforderungen für Fine-Tuning: was Sie liefern müssen
Nötig sind Beispielpaare aus Eingabe und gewünschter Ausgabe, je nach Aufgabe einige Hundert bis wenige Tausend. Entscheidend ist nicht die Menge, sondern die Einheitlichkeit: Widersprüchliche Beispiele bringen ein Modell zuverlässig dazu, widersprüchlich zu antworten.
Der Aufwand liegt fast vollständig in der Aufbereitung, nicht im Training. Der Trainingslauf selbst ist mit parametereffizienten Verfahren wie LoRA heute eine Frage von Stunden und überschaubaren Kosten.
Und ein Punkt, der oft fehlt: Der Prüfdatensatz muss vor dem Training stehen. Ohne ihn lässt sich hinterher nicht beurteilen, ob das Modell besser geworden ist oder nur anders.
Warum Fine-Tuning-Projekte im Mittelstand scheitern
Drei Muster wiederholen sich. Erstens wird feinjustiert, wo Prompting genügt hätte, sodass das Ergebnis gleich gut und dauerhaft teurer ist. Zweitens fehlt der Prüfdatensatz, sodass das Ergebnis nicht bewertbar ist. Drittens wird die Datenaufbereitung als Nebenarbeit eingeplant und bindet dann Wochen.
Dazu kommt die Folgekostenfrage: Jede Aktualisierung des Basismodells bedeutet, dass Feinjustierung und Bewertung erneut laufen müssen. Ein feinjustiertes Modell ist kein Projekt mit Ende, sondern ein Bauteil mit Wartungsbedarf.
Fine-Tuning in der Digitalisierungsstrategie: Stufe 3 im DOpE-Modell
In der Digitalisierungspyramide der Dögel GmbH gehört Fine-Tuning zur Stufe 3, der datenbasierten Steuerung. Darunter liegen die digitale Grundlage und der vernetzte Betrieb.
Diese Reihenfolge ist hier besonders unerbittlich, weil Fine-Tuning gepflegte Daten nicht nur nutzt, sondern voraussetzt. Wer keine einheitlichen Beispiele hat, hat kein Modellproblem, sondern ein Datenproblem. Mehr dazu im Beitrag Was ist Digital Operational Excellence?
Fine-Tuning einführen: die ersten drei Schritte
1. Ziel benennen. Fehlt dem Modell Wissen oder Disziplin? Wissen bedeutet RAG, Disziplin bedeutet Fine-Tuning.
2. Prüfdatensatz bauen. Fünfzig bis hundert Fälle mit der Antwort, die Sie erwarten. Damit messen Sie jede weitere Stufe.
3. Günstigste Stufe zuerst testen. Prompting, dann Few-Shot, dann RAG. Wer hier aufhört, weil das Ergebnis reicht, hat Geld gespart.
Diese drei Schritte lassen sich selbst gehen. Wer es strukturiert will, bekommt es als DOpE-Analyse: eine Bewertung, welche Anwendungsfälle tragen, welche Datengrundlage dafür fehlt und welche Maßnahme wirtschaftlich zuerst kommt. Was das Verfahren umfasst, steht auf unserer Seite zu Digital Operational Excellence.
Sprechen Sie uns an. Wir sagen Ihnen auch, wenn ein besserer Anweisungstext Ihr Problem löst und kein Training nötig ist.
Redaktion Dögel GmbH