Das beste Modell im Benchmark ist nicht das beste für Ihre Aufgabe. Was ein Large Language Model ist, steht im Glossar unter Large Language Model. Hier geht es um die Auswahl, also darum, welche Kriterien tatsächlich entscheiden, wann ein Betrieb im eigenen Haus sinnvoll ist und wie Sie sich einen Modellwechsel offenhalten.
Die fünf Kriterien, die bei der LLM-Auswahl zählen
Aufgabenqualität. Es zählen Ihre eigenen Fälle und nicht die Rangliste. Ein Modell, das im allgemeinen Vergleich vorn liegt, kann bei Ihren Rechnungen schlechter abschneiden als ein kleineres.
Kontextfenster. Wie viel Text muss das Modell gleichzeitig überblicken? Ein Vertrag mit 80 Seiten stellt andere Anforderungen als eine Produktanfrage.
Kosten je Anfrage. Abgerechnet wird nach Textmenge für Eingabe und Ausgabe. Bei Massenverarbeitung entscheidet dieser Posten und nicht der Lizenzpreis.
Latenz. Ein Assistent im Kundengespräch braucht eine Antwort in Sekunden. Eine Nachtverarbeitung von Dokumenten nicht.
Datenschutz und Standort. Wo werden die Daten verarbeitet, wie lange gespeichert, und werden sie zum Training verwendet? Das ist eine vertragliche Frage, keine technische.
Öffentliche Ranglisten messen allgemeine Fähigkeiten an standardisierten Aufgaben, Ihre Aufgabe ist nicht standardisiert. Deshalb gehört an den Anfang jedes Projekts ein eigener Prüfdatensatz mit fünfzig bis hundert echten Fällen und der Antwort, die Sie erwarten. Damit vergleichen Sie zwei oder drei Modelle in einer Stunde, und die Reihenfolge weicht regelmäßig von der öffentlichen Rangliste ab.
Die Entscheidung zwischen API und eigenem Betrieb
Ein Modell über eine Schnittstelle zu nutzen ist schnell, günstig im Einstieg und immer aktuell. Der Nachteil besteht darin, dass Ihre Daten das Haus verlassen und die Kosten mit der Menge wachsen. Ein Modell im eigenen Haus zu betreiben löst die Datenfrage und macht die Kosten planbar, verlangt aber passende Hardware, Fachpersonal für Betrieb und Aktualisierung sowie eine ehrliche Rechnung. Bei geringem Volumen ist der eigene Betrieb fast immer teurer.
Als Faustregel gilt die API, solange die Datenschutzfrage vertraglich lösbar ist, und der eigene Betrieb, wenn sie es nicht ist oder das Volumen dauerhaft hoch bleibt. Zwischen beidem liegen offene Modelle bei einem europäischen Anbieter, oft der Kompromiss, der übersehen wird.
Am Modellwechsel scheitern LLM-Projekte im Mittelstand
Modelle werden abgelöst, umbenannt und im Preis verändert, teils mehrmals im Jahr. Wer seine Anwendung fest gegen ein Modell baut, baut gegen ein Ablaufdatum. Der Ausweg ist eine dünne Abstraktionsschicht. Modellname, Anbieter und Anweisungstexte gehören in die Konfiguration und nicht in den Programmcode. Dann ist ein Wechsel eine Einstellung und kein Projekt.
Ob ein Modell zusätzlich an Ihre Sprache und Ihr Format angepasst werden muss, ist eine eigene Frage. Die Abwägung steht im Beitrag Fine-Tuning oder RAG.
Wo ein LLM im DOpE-Modell einzuordnen ist
In der Digitalisierungspyramide der Dögel GmbH gehören Sprachmodelle zur Stufe 3, der datenbasierten Steuerung. Darunter liegen die digitale Grundlage und der vernetzte Betrieb. Für die Modellauswahl bedeutet das, dass ein Sprachmodell nur dann auf Ihr Wissen zugreift, wenn dieses Wissen digital und auffindbar vorliegt. Ohne diese Grundlage wählen Sie ein Modell für eine Aufgabe, die es nicht erreichen kann. Mehr dazu im Beitrag Was ist Digital Operational Excellence?
Was vor der Modellwahl zu klären ist
1. Prüfdatensatz bauen. Echte Fälle mit erwarteter Antwort. Ohne diesen Schritt ist jede Modellwahl Geschmackssache.
2. Datenschutzfrage klären. Dürfen die Inhalte das Haus verlassen? Die Antwort entscheidet zwischen API und eigenem Betrieb, bevor über Modelle gesprochen wird.
3. Wechselbarkeit einbauen. Modell und Anweisungstexte in die Konfiguration, nicht in den Code.
Bis hierhin kommen Sie allein. Wer es belastbar will, bekommt es als DOpE-Analyse mit einer Bewertung, welche Anwendungsfälle tragen, welche Voraussetzungen fehlen und welche Maßnahme nach Wirtschaftlichkeit zuerst kommt. Was das Verfahren umfasst, steht auf unserer Seite zu Digital Operational Excellence.
Sprechen Sie uns an. Auch das gehört zur Beratung: Wir sagen Ihnen, wenn ein kleineres Modell für Ihren Fall genügt.
Redaktion Dögel GmbH