Modellwechsel richtig testen: Prüfen, bevor es produktiv geht

Kurz gesagt: Ein neues Sprachmodell kann besser, schneller oder günstiger sein und trotzdem anders antworten. Deshalb gehört vor jeden Wechsel ein Test mit festen Testfragen, ein Vergleich der Ergebnisse und eine schrittweise Einführung mit Rückfallplan. Wer das einmal vorbereitet, kann Modelle später mit überschaubarem Aufwand tauschen und wird von Anbieterentscheidungen weniger überrascht.

1. Warum Modelle gewechselt werden müssen

Sprachmodelle (LLM) sind keine statischen Bausteine. Anbieter bringen neue Versionen heraus und stellen alte irgendwann ab. Manchmal ändern sich Preise, Datenschutzbedingungen oder Verfügbarkeit in einer Region. Auch der eigene Bedarf wechselt: Eine Anwendung soll schneller antworten, eine andere komplexere Aufgaben lösen, eine dritte ohne Cloud laufen.

Ein Wechsel ist deshalb eher Regel als Ausnahme. Wer ihn nicht plant, wird dazu gezwungen, meist zum ungünstigen Zeitpunkt.

Das gilt besonders, wenn ein Anbieter ein Modell abkündigt: Dann bleibt ein festes Zeitfenster, und alles, was bis dahin nicht getestet ist, wird unter Zeitdruck nachgeholt. Wer von Anfang an so baut, dass das Modell austauschbar bleibt, und einen Testsatz pflegt, kann einen Wechsel als normale Wartungsaufgabe behandeln statt als Notfall.

Ein Wechsel ist außerdem heikler, als er aussieht: Dieselbe Anweisung (Prompt) kann bei einem neuen Modell anders wirken. Es antwortet ausführlicher, kürzer, vorsichtiger oder formuliert anders. Formatvorgaben werden unterschiedlich befolgt, und Eigenheiten, auf die sich ein Ablauf verlassen hat, verschwinden.

2. Schritt 1: Ausgangslage festhalten

Vergleichen kann man nur, was man kennt. Bevor ein neues Modell ins Spiel kommt, halten Sie fest:

• Wofür wird das Modell eingesetzt? Zusammenfassen, Auslesen, Antworten, Klassifizieren, Formulieren.
• Welche Anweisungen und Parameter gelten? Prompts, Formatvorgaben, Temperatur-Einstellungen, genutzte Werkzeuge.
• Welche Qualität erwarten Sie? Was ist eine gute Antwort, was ein Fehler?
• Was ist verbindlich? Zum Beispiel ein feststehendes Ausgabeformat für die Weiterverarbeitung, Quellenangaben oder Tonalität.
• Welche Kosten und Antwortzeiten gelten heute?

Diese Ausgangslage ist die Messlatte. Ohne sie bleibt das Urteil „fühlt sich besser an“ Bauchgefühl.

3. Schritt 2: Testfragen und Vergleich

Das Herzstück ist ein fester Satz an Testfällen. Er sollte Ihre Praxis abbilden und nicht nur schöne Beispiele enthalten.

1. Reale Fälle sammeln: Häufige Anfragen, typische Dokumente, bekannte Problemfälle aus dem Betrieb.
2. Schwierige Fälle ergänzen: Mehrdeutige Fragen, fehlende Informationen, widersprüchliche Quellen, Fragen außerhalb des Themas.
3. Soll-Ergebnisse festlegen: Für jeden Fall, was eine gute Antwort enthalten muss oder wie das Datenformat aussieht.
4. Beide Modelle laufen lassen: Gleiche Eingaben, gleiche Anweisungen, Ergebnisse nebeneinander.
5. Bewerten: Fachleute prüfen Inhalt, Form und Quellen. Wo möglich, werden Formatfehler automatisch erkannt.
6. Abweichungen auswerten: Wo ist das neue Modell besser, wo schlechter, und woran liegt es?

Bei Anwendungen mit Wissensabruf (RAG) prüfen Sie zusätzlich, ob die richtigen Quellen genannt und Fragen ohne Antwort ehrlich beantwortet werden. Bei Anwendungen, die Daten extrahieren, zählt vor allem, ob Felder korrekt und im richtigen Format ankommen.

Praxis-Tipp: Pflegen Sie den Testsatz fortlaufend. Jeder Fehler aus dem Betrieb wird zu einem neuen Testfall. So wächst über die Zeit ein Schutznetz, das jede Änderung abdeckt, nicht nur Modellwechsel.

4. Schritt 3: Anweisungen anpassen und Risiken prüfen

Selten genügt es, nur den Modellnamen auszutauschen. Oft müssen Anweisungen angepasst werden, damit das neue Modell das gewünschte Verhalten zeigt. Planen Sie dafür Zeit ein und testen Sie nach jeder Änderung erneut.

Prüfen Sie außerdem Punkte jenseits der Antwortqualität:

• Datenschutz und Hosting: Wo wird das neue Modell betrieben (EU-Inferenz oder anderer Standort)? Gilt der bestehende AVV weiter, oder gibt es neue Unterauftragnehmer? Bei einem Anbieterwechsel sind Vertragslage und Datenverarbeitung neu zu bewerten.
• Kosten: Preise je Nutzung, Länge der Antworten und Anzahl der Aufrufe verändern die Rechnung.
• Antwortzeit und Limits: Reicht die Geschwindigkeit, gibt es Begrenzungen bei der Nutzung?
• Kontextgröße: Passen lange Dokumente in das Kontextfenster?
• Sicherheit: Reagiert das Modell anders auf Täuschungsversuche in Dokumenten oder Eingaben?
• Regulatorik: Ändert der Wechsel etwas an der Einordnung unter dem EU AI Act? Das ist im Einzelfall zu prüfen, im Zweifel rechtlich.

5. Schritt 4: Schrittweise einführen

Selbst gute Tests decken nicht alles ab. Deshalb empfiehlt sich eine gestufte Einführung.

1. Parallelbetrieb: Das neue Modell läuft mit, seine Antworten werden gespeichert und verglichen, aber noch nicht ausgespielt.
2. Kleiner Nutzerkreis: Ein Teil der Anfragen oder eine Pilotgruppe nutzt das neue Modell.
3. Beobachten: Fehlerraten, Rückmeldungen und Kosten werden eng verfolgt.
4. Vollständige Umstellung: Erst wenn die Ergebnisse überzeugen.
5. Rückfallplan: Das alte Modell bleibt für einen definierten Zeitraum erreichbar, damit Sie im Zweifel zurückschalten können. Das gelingt nur, wenn das Modell nicht fest in den Ablauf eingebaut ist, sondern austauschbar bleibt.

Dokumentieren Sie den Wechsel: Datum, Versionen, Testergebnisse, Änderungen an Anweisungen, Freigabe. In regulierten Umfeldern gehört das zur Nachvollziehbarkeit. Mehr dazu im Ratgeber KI in regulierten Branchen.

6. Wer testet, und wie oft?

Ein Modelltest ist Teamarbeit: Fachleute beurteilen die Inhalte, Technik betreibt den Vergleich, Datenschutz prüft Verträge. Wenn ein Anbieter ein Modell ankündigt abzuschalten, bleibt meist ein Zeitfenster. Nutzen Sie es früh, nicht in der letzten Woche.

Im Rahmen der Betreuung übernehmen wir auf Wunsch Vorbereitung, Vergleich und Umstellung. Eine Einordnung des gesamten Betriebs bietet der Ratgeber Was gehört zur Wartung einer KI-Lösung?

Häufige Fragen kurz beantwortet

Muss ich jedes neue Modell testen?

Nein, nur solche, die Sie einsetzen wollen oder müssen. Ein Wechsel ohne Test ist jedoch riskant, besonders bei Anwendungen mit Folgen für Kunden oder Entscheidungen.

Wie viele Testfälle braucht man?

Das hängt vom Einsatz ab. Wichtiger als die Zahl ist die Abdeckung: häufige Fälle, schwierige Fälle und bekannte Fehler aus dem Betrieb.

Kann ich Modelle automatisch vergleichen lassen?

Teilweise, etwa bei Formatprüfungen oder festen Feldern. Bei inhaltlicher Qualität bleibt die Bewertung durch Fachleute wichtig.

Wenn Sie einen Modellwechsel vorbereiten oder Ihre Lösung austauschbar gestalten möchten, besprechen wir das im kostenlosen Erstgespräch (30 Minuten). Schreiben Sie uns über die Kontaktseite.

Weiterführend: Leistung Betreuung & Wartung · Branche IT, Software & SaaS · Glossar: LLM, Prompt, Kontextfenster, EU-Inferenz