Das beste Modell im Benchmark ist nicht das beste für Ihre Aufgabe. Was ein Large Language Model ist, steht im Glossar unter Large Language Model. Hier geht es um die Auswahl: welche Kriterien tatsächlich entscheiden, wann ein Betrieb im eigenen Haus sinnvoll ist und wie Sie sich einen Modellwechsel offenhalten.
LLM auswählen: die fünf Kriterien, die zählen
Aufgabenqualität. Nicht die Rangliste, sondern Ihre eigenen Fälle. Ein Modell, das im allgemeinen Vergleich vorn liegt, kann bei Ihren Rechnungen schlechter abschneiden als ein kleineres.
Kontextfenster. Wie viel Text muss das Modell gleichzeitig überblicken? Ein Vertrag mit 80 Seiten stellt andere Anforderungen als eine Produktanfrage.
Kosten je Anfrage. Abgerechnet wird nach Textmenge, also nach Eingabe und Ausgabe. Bei Massenverarbeitung entscheidet dieser Posten, nicht der Lizenzpreis.
Latenz. Ein Assistent im Kundengespräch braucht eine Antwort in Sekunden. Eine Nachtverarbeitung von Dokumenten nicht.
Datenschutz und Standort. Wo werden die Daten verarbeitet, wie lange gespeichert, und werden sie zum Training verwendet? Das ist eine vertragliche Frage, keine technische.
Eigener Betrieb oder API: die Entscheidung
Ein Modell über eine Schnittstelle zu nutzen ist schnell, günstig im Einstieg und immer aktuell. Der Nachteil: Ihre Daten verlassen das Haus, und die Kosten wachsen mit der Menge.
Ein Modell im eigenen Haus zu betreiben löst die Datenfrage und macht die Kosten planbar, verlangt aber passende Hardware, Fachpersonal für Betrieb und Aktualisierung sowie eine ehrliche Rechnung. Bei geringem Volumen ist der eigene Betrieb fast immer teurer.
Die Faustregel: API, solange die Datenschutzfrage vertraglich lösbar ist. Eigener Betrieb, wenn sie es nicht ist oder das Volumen dauerhaft hoch bleibt.
Zwischen beidem liegen offene Modelle bei einem europäischen Anbieter, oft der Kompromiss, der übersehen wird.
Warum Modellvergleiche in die Irre führen
Öffentliche Ranglisten messen allgemeine Fähigkeiten an standardisierten Aufgaben. Ihre Aufgabe ist nicht standardisiert.
Deshalb gehört an den Anfang jedes Projekts ein eigener Prüfdatensatz: fünfzig bis hundert echte Fälle mit der Antwort, die Sie erwarten. Damit vergleichen Sie zwei oder drei Modelle in einer Stunde, und die Reihenfolge weicht regelmäßig von der öffentlichen Rangliste ab.
Warum LLM-Projekte im Mittelstand am Modellwechsel scheitern
Modelle werden abgelöst, umbenannt und im Preis verändert, teils mehrmals im Jahr. Wer seine Anwendung fest gegen ein Modell baut, baut gegen ein Ablaufdatum.
Der Ausweg ist eine dünne Abstraktionsschicht: Modellname, Anbieter und Anweisungstexte gehören in die Konfiguration, nicht in den Programmcode. Dann ist ein Wechsel eine Einstellung und kein Projekt.
Ob ein Modell zusätzlich an Ihre Sprache und Ihr Format angepasst werden muss, ist eine eigene Frage. Die Abwägung steht im Beitrag Fine-Tuning oder RAG.
LLM in der Digitalisierungsstrategie: Stufe 3 im DOpE-Modell
In der Digitalisierungspyramide der Dögel GmbH gehören Sprachmodelle zur Stufe 3, der datenbasierten Steuerung. Darunter liegen die digitale Grundlage und der vernetzte Betrieb.
Für die Modellauswahl heißt das: Ein Sprachmodell greift nur dann auf Ihr Wissen zu, wenn dieses Wissen digital und auffindbar vorliegt. Ohne diese Grundlage wählen Sie ein Modell für eine Aufgabe, die es nicht erreichen kann. Mehr dazu im Beitrag Was ist Digital Operational Excellence?
LLM einführen: die ersten drei Schritte
1. Prüfdatensatz bauen. Echte Fälle mit erwarteter Antwort. Ohne diesen Schritt ist jede Modellwahl Geschmackssache.
2. Datenschutzfrage klären. Dürfen die Inhalte das Haus verlassen? Die Antwort entscheidet zwischen API und eigenem Betrieb, bevor über Modelle gesprochen wird.
3. Wechselbarkeit einbauen. Modell und Anweisungstexte in die Konfiguration, nicht in den Code.
Diese drei Schritte lassen sich selbst gehen. Wer es strukturiert will, bekommt es als DOpE-Analyse: eine Bewertung, welche Anwendungsfälle tragen, welche Voraussetzungen fehlen und welche Maßnahme nach Wirtschaftlichkeit zuerst kommt. Was das Verfahren umfasst, steht auf unserer Seite zu Digital Operational Excellence.
Sprechen Sie uns an. Wir sagen Ihnen auch, wenn ein kleineres Modell für Ihren Fall genügt.
Redaktion Dögel GmbH