Monitoring für Workflows und KI-Funktionen: Welche Signale zählen

Kurz gesagt: Gutes Monitoring beantwortet drei Fragen: Läuft der Ablauf, sind die Ergebnisse brauchbar und bleiben Kosten und Risiken im Rahmen? Dafür genügen wenige, gut gewählte Signale: Ausführungsfehler, ausbleibende Läufe, Qualitätsstichproben, Antwortzeiten, Kosten und Sicherheitsereignisse. Entscheidend ist, dass bei einem Alarm klar ist, wer reagiert.

1. Warum Überwachen mehr ist als Fehlermeldungen lesen

Viele Automatisierungen fallen nicht laut aus. Ein Workflow, der um sechs Uhr starten sollte, startet einfach nicht. Ein Dokument wird gelesen, aber ein Feld bleibt leer. Ein Assistent antwortet freundlich, aber mit veralteten Informationen. In keinem dieser Fälle gibt es eine rote Fehlermeldung, und trotzdem ist das Ergebnis falsch.

Monitoring heißt deshalb, nicht nur auf Abstürze zu achten, sondern auf Abweichungen vom Erwarteten. Dafür muss man wissen, was erwartet wird. Wer das vor dem Start festlegt, kann später Abweichungen erkennen.

2. Die fünf Signalgruppen

1. Läuft der Ablauf?

• Fehlgeschlagene Ausführungen und ihre Ursachen
• Ausbleibende Läufe: Ein geplanter Ablauf, der nicht gestartet ist, muss genauso auffallen wie ein fehlerhafter
• Hängende oder ungewöhnlich lange Läufe
• Verfügbarkeit der angebundenen Systeme und Schnittstellen (API)

2. Kommt das Richtige an?

• Anzahl verarbeiteter Elemente im Vergleich zu üblichen Mengen. Ein plötzlicher Einbruch oder Anstieg ist ein Warnsignal.
• Leere oder unvollständige Felder in Ergebnissen
• Dubletten und Rückläufer

3. Ist die Qualität der KI-Funktion in Ordnung?

• Stichproben: Fachleute prüfen regelmäßig eine Auswahl der Ergebnisse
• Rückmeldungen der Nutzer, etwa „hilfreich / nicht hilfreich“
• Anteil der Fälle, die zur manuellen Prüfung weitergereicht werden
• Antworten ohne Quelle oder Hinweise auf mögliche Halluzinationen

4. Was kostet es, und wie schnell ist es?

• Verbrauch an Tokens und daraus entstehende Kosten
• Antwortzeiten
• Auslastung und Begrenzungen bei Anbietern

5. Ist es sicher?

• Fehlgeschlagene Anmeldungen und ungewöhnliche Zugriffe
• Ablaufende Zertifikate und Zugangsschlüssel
• Auffällige Eingaben, etwa Versuche, den Assistenten zu manipulieren

3. Qualität messen, ohne sich zu verzetteln

Bei KI-Funktionen ist Qualität die schwierigste Größe, weil sie sich nicht allein aus technischen Daten ablesen lässt. Bewährt haben sich einfache Mittel:

1. Stichprobenroutine: Jede Woche oder jeden Monat prüft eine Person zum Beispiel zwanzig zufällig gewählte Ergebnisse und notiert Fehler.
2. Testfragen im Dauerbetrieb: Ein fester Satz bekannter Fragen läuft regelmäßig durch das System. Weicht das Ergebnis ab, wird gemeldet. So fallen Änderungen bei Modellen oder Daten früh auf.
3. Rückmeldung einbauen: Anwender können Antworten mit einem Klick bewerten oder Fehler melden.
4. Auffälligkeiten sammeln: Eine einfache Liste mit Datum, Beispiel und Ursache zeigt Muster.

Wählen Sie lieber wenige Messgrößen, die jemand regelmäßig anschaut, als viele, die niemand liest. Zahlenwerte für Soll-Qualität legen Sie gemeinsam mit den Fachleuten fest. Allgemeingültige Richtwerte gibt es nicht, sie hängen vom Anwendungsfall ab.

Hinweis: Protokolle und Stichproben können personenbezogene oder vertrauliche Inhalte enthalten. Beschränken Sie Zugriff und Aufbewahrungsdauer, und prüfen Sie, ob Mitarbeitende betroffen sind und eine Abstimmung mit der Mitarbeitervertretung nötig ist. Klären Sie das im Einzelfall mit Ihrem Datenschutz und gegebenenfalls dem Betriebsrat.

4. Alarme, die jemand ernst nimmt

Zu viele Meldungen führen dazu, dass keine mehr gelesen wird. Gestalten Sie Alarme deshalb mit Bedacht:

• Stufen: Kritisch (sofort handeln), wichtig (am selben Tag), Hinweis (im Wochenbericht).
• Klare Texte: Was ist passiert, welcher Ablauf ist betroffen, was ist der nächste Schritt?
• Richtige Empfänger: Eine benannte Person oder ein Postfach, nicht „die IT“. Mit Vertretung.
• Passender Kanal: E-Mail, Messenger oder Ticketsystem, je nach Dringlichkeit.
• Wiederholungen bündeln: Dieselbe Störung erzeugt eine Meldung, keine Hundert.
• Lebenszeichen: Ein regelmäßiges „Alles in Ordnung“ von wichtigen Abläufen zeigt auch dann etwas, wenn alles still ist.

Welche Werkzeuge dafür sinnvoll sind, hängt von Ihrer Umgebung ab. Bei n8n lassen sich Fehler-Abläufe einrichten, die bei Störungen eine Nachricht auslösen. Auch andere Plattformen bieten solche Mechanismen.

5. Vom Alarm zur Behebung

Ein Alarm ist erst der Anfang. Damit er nutzt, braucht es einen Ablauf:

1. Erkennen: Die Meldung erreicht die zuständige Person.
2. Einordnen: Ist der Fehler kritisch? Welche Fachbereiche sind betroffen?
3. Beheben: Ursache finden und Abhilfe schaffen, notfalls zunächst mit manuellem Ersatz.
4. Nachholen: Verpasste Verarbeitungen werden nachgeholt, ohne Dubletten zu erzeugen.
5. Lernen: Eine kurze Notiz hält fest, was passiert ist und was künftig verhindert, damit der Fehler nicht wiederkehrt.

Was bei Störungen gilt, sollte vorab mit den Fachbereichen besprochen sein. Wer ist zu informieren, wenn zum Beispiel die Verarbeitung von Eingangsrechnungen einen Tag stillsteht? Mehr zum Gesamtbild des Betriebs im Ratgeber Was gehört zur Wartung einer KI-Lösung?

6. Ein Muster für den Einstieg

Zur Veranschaulichung, ohne Messwerte: Für einen Workflow, der Dokumente einliest und ablegt, könnte ein schlankes Monitoring so aussehen.

• Täglich ein Lebenszeichen: Der Ablauf meldet, wie viele Dokumente verarbeitet wurden.
• Ein Alarm, wenn bis zu einer bestimmten Uhrzeit nichts verarbeitet wurde.
• Ein Alarm bei fehlgeschlagenen Ausführungen.
• Eine wöchentliche Stichprobe von Ergebnissen mit Notizen zu Fehlern.
• Eine monatliche Übersicht über Kosten und Nutzung.

Das lässt sich mit überschaubarem Aufwand einrichten und bei Bedarf ausbauen. Die konkrete Auswahl hängt vom Risiko Ihrer Abläufe ab.

Häufige Fragen kurz beantwortet

Reicht es, E-Mails bei Fehlern zu erhalten?

Für den Anfang ja, wenn jemand die Meldungen liest und handelt. Ergänzen Sie Warnungen für ausbleibende Läufe, denn die erzeugen von sich aus keine Fehlermeldung.

Wie überwache ich die Qualität einer KI-Antwort?

Mit Stichproben, Testfragen und Rückmeldungen der Nutzer. Eine vollständig automatische Bewertung ist nur eingeschränkt möglich.

Wer sollte die Alarme erhalten?

Eine benannte Person mit Vertretung, die auch handeln darf. Fachliche Auffälligkeiten gehen zusätzlich an die verantwortliche Fachabteilung.

Wenn Sie das Monitoring Ihrer Abläufe aufbauen oder verbessern möchten, besprechen wir das im kostenlosen Erstgespräch (30 Minuten). Schreiben Sie uns über die Kontaktseite.

Weiterführend: Leistung Betreuung & Wartung · Branche IT, Software & SaaS · Glossar: Workflow, n8n, Token, API