Die meisten Unternehmen, die Fine-Tuning anfragen, brauchen RAG. Was Fine-Tuning technisch bedeutet, steht im Glossar unter Fine-Tuning. Der Beitrag behandelt die Entscheidung davor, also darum, welche Methode zu welchem Ziel passt, was Fine-Tuning an Daten verlangt und welche Folgekosten dabei entstehen.
Die vier Stufen der Modellanpassung im Überblick
Von günstig nach teuer und in dieser Reihenfolge zu prüfen:
Prompting. Die Aufgabe wird im Anweisungstext präzise beschrieben. Kostet nichts außer Sorgfalt und löst mehr Fälle, als die meisten erwarten.
Few-Shot. Der Anweisung werden zwei bis fünf Beispiele beigelegt. Damit lässt sich ein Format oder ein Tonfall zuverlässig erzwingen.
RAG (Retrieval Augmented Generation). Das Modell erhält zur Laufzeit die passenden Ausschnitte aus Ihren eigenen Dokumenten und antwortet darauf gestützt.
Fine-Tuning. Ein vorhandenes Modell wird mit eigenen Beispielpaaren weitertrainiert und ändert dauerhaft sein Verhalten.
Die Unterscheidung zwischen Fine-Tuning und RAG
Hier liegt der Denkfehler, der die meisten Projekte teuer macht. Fine-Tuning ändert, wie ein Modell antwortet, RAG ändert, was es weiß. Wer dem Modell den eigenen Produktkatalog „beibringen“ will, greift fast immer zum falschen Werkzeug. Ein feinjustiertes Modell kann keine Quelle angeben, und bei jeder Preisänderung ist sein Wissen veraltet. RAG liefert die Auskunft mit Belegstelle und ist am Tag der Katalogänderung aktuell. Fine-Tuning lohnt sich, wenn Form und Verhalten das Ziel sind, also bei einem bestimmten Ausgabeformat, einer festen Klassifikationslogik, einem Fachjargon oder einer Antwortlänge. Es geht dann um die Disziplin des Modells und nicht um fehlendes Wissen.
Datenanforderungen für Fine-Tuning und warum Projekte im Mittelstand scheitern
Nötig sind Beispielpaare aus Eingabe und gewünschter Ausgabe, je nach Aufgabe einige Hundert bis wenige Tausend. Wichtiger als die Menge ist die Einheitlichkeit. Widersprüchliche Beispiele bringen ein Modell zuverlässig dazu, widersprüchlich zu antworten. Der Aufwand liegt fast vollständig in der Aufbereitung, nicht im Training. Der Trainingslauf selbst ist mit parametereffizienten Verfahren wie LoRA heute eine Frage von Stunden und überschaubaren Kosten. Oft fehlt ein weiterer Punkt. Der Prüfdatensatz muss vor dem Training stehen, denn ohne ihn lässt sich hinterher nicht beurteilen, ob das Modell besser geworden ist oder nur anders.
Beim Scheitern wiederholen sich drei Muster. Erstens wird feinjustiert, wo Prompting genügt hätte, und das Ergebnis ist gleich gut und dauerhaft teurer. Zweitens fehlt der Prüfdatensatz, sodass das Ergebnis nicht bewertbar ist. Drittens wird die Datenaufbereitung als Nebenarbeit eingeplant und bindet dann Wochen. Dazu kommt die Folgekostenfrage. Jede Aktualisierung des Basismodells bedeutet, dass Feinjustierung und Bewertung erneut laufen müssen. Ein feinjustiertes Modell ist ein Bauteil mit Wartungsbedarf und kein Projekt mit Ende.
Wo Fine-Tuning im DOpE-Modell steht
In der Digitalisierungspyramide der Dögel GmbH gehört Fine-Tuning zur Stufe 3, der datenbasierten Steuerung. Darunter liegen die digitale Grundlage und der vernetzte Betrieb. Diese Reihenfolge ist hier besonders unerbittlich, weil Fine-Tuning gepflegte Daten voraussetzt und nicht nur nutzt. Wer keine einheitlichen Beispiele hat, hat kein Modellproblem. Er hat ein Datenproblem. Mehr dazu im Beitrag Was ist Digital Operational Excellence?
Womit Sie beim Fine-Tuning anfangen
1. Ziel benennen. Fehlt dem Modell Wissen oder Disziplin? Wissen bedeutet RAG, Disziplin bedeutet Fine-Tuning.
2. Prüfdatensatz bauen. Fünfzig bis hundert Fälle mit der Antwort, die Sie erwarten. Damit messen Sie jede weitere Stufe.
3. Günstigste Stufe zuerst testen. Prompting, dann Few-Shot, dann RAG. Wer hier aufhört, weil das Ergebnis reicht, hat Geld gespart.
Dafür brauchen Sie keinen Partner. Wer es strukturiert will, bekommt es als DOpE-Analyse, also eine Bewertung, welche Anwendungsfälle tragen, welche Datengrundlage dafür fehlt und welche Maßnahme wirtschaftlich zuerst kommt. Was das Verfahren umfasst, steht auf unserer Seite zu Digital Operational Excellence.
Sprechen Sie uns an. Auch das gehört zur Beratung: Wir sagen Ihnen, wenn ein besserer Anweisungstext Ihr Problem löst und kein Training nötig ist.
Redaktion Dögel GmbH