KI in regulierten Branchen: Was Nachvollziehbarkeit konkret bedeutet

Hinweis: Dieser Ratgeber beschreibt allgemeine technische und organisatorische Prinzipien. Er ersetzt weder eine Bewertung nach den für Ihre Organisation geltenden Vorschriften noch die Abstimmung mit Ihrer Qualitäts-, Compliance- oder Luftfahrtbehörde. Welche Regelwerke maßgeblich sind, etwa Vorgaben der EASA und Betriebsgenehmigungen, klären Sie im Einzelfall mit Ihren Fachverantwortlichen.

Kurz gesagt: In regulierten Branchen reicht es nicht, dass eine Antwort richtig ist. Man muss belegen können, woher sie kommt, wer sie geprüft hat und welche Version galt. Nachvollziehbarkeit heißt: Quellen nennen, Schritte protokollieren, Versionen festhalten und Freigaben dokumentieren. Wer das von Beginn an einplant, kann KI als Unterstützung einsetzen, ohne Kontrolle abzugeben.

1. Warum Nachvollziehbarkeit mehr ist als ein Schlagwort

In regulierten Umfeldern wie Luftfahrt, Medizintechnik, Energie oder Finanzwesen gilt ein einfacher Grundsatz: Was nicht dokumentiert ist, gilt als nicht geschehen. Entscheidungen, Wartungsschritte und Freigaben müssen später erklärbar sein, gegenüber Audits, Behörden, Kunden oder der eigenen Qualitätssicherung.

Ein Sprachmodell erzeugt Antworten, deren Entstehung sich nicht Zeile für Zeile zurückverfolgen lässt. Das ist kein Ausschlusskriterium, aber ein Grund, die Umgebung so zu gestalten, dass an anderer Stelle Nachvollziehbarkeit entsteht: durch Quellenangaben, Protokolle, Versionsstände und menschliche Freigaben.

2. Die vier Bausteine

Quelle: Woher stammt die Aussage?

Ein RAG-System (RAG) antwortet auf Grundlage Ihrer Dokumente und nennt Dokument, Version und Fundstelle. Wer die Antwort prüfen will, öffnet das Original. Eine Antwort ohne Quelle ist in diesem Umfeld ein Hinweis, kein Beleg.

Version: Welcher Stand galt?

Handbücher, Verfahrensanweisungen und Richtlinien ändern sich. Das System muss wissen, welche Fassung gültig ist, und sollte zu jeder Antwort festhalten, welche Fassung herangezogen wurde. Veraltete Stände werden gekennzeichnet oder ausgeschlossen.

Protokoll: Was ist wann passiert?

Anfragen, abgerufene Quellen, erzeugte Antworten, Korrekturen und Freigaben werden mit Zeitstempel und Person festgehalten. Das Protokoll ist selbst schützenswert und in Aufbewahrung und Zugriff geregelt.

Freigabe: Wer hat entschieden?

Wo eine Antwort Folgen hat, etwa für Wartung, Sicherheit oder Zulassung, bestätigt eine verantwortliche Person (Human-in-the-Loop). Die KI bereitet vor, der Mensch entscheidet und zeichnet.

3. Was ein Sprachmodell nicht leisten sollte

Hinweis: Verwenden Sie KI in sicherheitsrelevanten Zusammenhängen nur als Unterstützung beim Finden und Aufbereiten von Informationen, nicht als Entscheidungsinstanz. Verbindlich sind die freigegebenen Dokumente und die Entscheidung der zuständigen Person.

Daraus ergeben sich klare Grenzen:

• Keine freigaberelevanten Aussagen aus dem Gedächtnis des Modells. Antworten müssen auf freigegebenen Quellen beruhen. Findet das System keine, soll es das sagen.
• Keine automatische Änderung von Dokumenten oder Daten in Systemen mit Zulassungsbezug.
• Kein Ersatz für vorgeschriebene Prüfungen. Die KI kann Prüfer unterstützen, ersetzt aber keine Prüfschritte, die Vorschriften verlangen.
• Kein Umgehen von Verantwortlichkeiten. Es muss immer eine benannte Person geben, die für ein Ergebnis einsteht.

Typische Risiken sind Halluzinationen, veraltete Quellen und Fehlinterpretationen von Tabellen oder Abkürzungen. Sie lassen sich nicht ausschließen, aber durch Quellenpflicht, Tests und Freigaben beherrschbar machen.

4. Testen und Dokumentieren

Wer KI in einem regulierten Umfeld einführt, sollte die Abnahme wie ein kleines Qualifizierungsvorhaben behandeln:

1. Zweck und Grenzen beschreiben: Wofür wird das System eingesetzt, wofür ausdrücklich nicht?
2. Testfälle definieren: Reale Fragen mit bekannter richtiger Antwort, einschließlich Fragen ohne Antwort und missverständlicher Formulierungen.
3. Ergebnisse bewerten: Fachleute prüfen Antworten und Quellen. Abweichungen werden festgehalten.
4. Änderungen steuern: Neue Dokumente, Modellwechsel und Anpassungen der Anweisungen lösen einen erneuten Test aus.
5. Ergebnisse ablegen: Testberichte, Versionen und Freigaben werden dokumentiert.

Wie umfangreich das ausfällt, hängt vom Einsatzzweck und den für Sie geltenden Vorgaben ab. Ein internes Suchwerkzeug für Handbücher stellt andere Anforderungen als ein System, das Entscheidungen vorbereitet. Die Einstufung nach EU AI Act und nach branchenspezifischen Vorgaben ist im Einzelfall zu prüfen.

5. Datenschutz, Hosting und EU AI Act

Auch regulierte Branchen verarbeiten personenbezogene Daten, etwa von Beschäftigten oder Kunden. Es gelten die üblichen Anforderungen der DSGVO: Rechtsgrundlage, Datensparsamkeit, Verträge (AVV) und klare Löschfristen. Hosting in der EU oder in der eigenen Umgebung erleichtert vieles, besonders bei vertraulichen technischen Unterlagen. Mehr zu den Varianten im Ratgeber DSGVO-konforme KI: Hosting, AVV und EU AI Act.

Der EU AI Act ordnet KI-Systeme nach Risiko und stellt je nach Einordnung Anforderungen an Dokumentation, Aufsicht und Transparenz. Welche Einstufung für Ihren Anwendungsfall gilt, sollten Sie früh prüfen lassen. Für Organisationen, die KI einsetzen, kommen Vorgaben zur KI-Kompetenz hinzu (Art. 4, anwendbar seit dem 2. Februar 2025). Die Transparenzpflichten nach Art. 50 sind seit dem 2. August 2026 anwendbar; für Hochrisiko-Systeme nach Anhang III gilt nach der KI-Omnibus-Verordnung (EU) 2026/1744 der 2. Dezember 2027, für Systeme nach Anhang I der 2. August 2028.

6. Ein Beispiel für den Aufbau

Zur Veranschaulichung ein Muster, kein Praxisergebnis: Ein Instandhaltungsbetrieb möchte, dass Technikerinnen Fragen zu Verfahren per Chat stellen können.

• Das System nutzt ausschließlich freigegebene, versionierte Handbücher.
• Jede Antwort enthält Dokumenttitel, Version und Abschnitt.
• Fragen und Antworten werden mit Zeitstempel protokolliert.
• Bei fehlender Quelle antwortet das System: „Dazu liegt mir keine freigegebene Quelle vor.“
• Aussagen mit Folgen werden vor der Verwendung am Original geprüft und durch die zuständige Person bestätigt.

Wie ein solches System für technische Dokumentation aufgebaut wird, beschreibt der Ratgeber RAG für technische Dokumentation.

Häufige Fragen kurz beantwortet

Ist KI in regulierten Branchen überhaupt zulässig?

Grundsätzlich ja, abhängig vom Einsatzzweck und den geltenden Vorgaben. Als unterstützendes Werkzeug mit Quellen und Freigaben ist der Einstieg meist leichter als bei Anwendungen, die Entscheidungen treffen.

Genügt es, Quellen anzugeben?

Quellen sind die Basis, aber nicht alles. Hinzu kommen Versionierung, Protokolle, Tests und klare Verantwortlichkeiten.

Wer haftet für Fehler?

Die Verantwortung bleibt bei der Organisation und den zuständigen Personen. Deshalb gehören Prüfpunkte und Freigaben in den Ablauf. Haftungsfragen im Einzelfall klären Sie mit Ihrer Rechtsabteilung.

Wenn Sie klären möchten, wie sich Nachvollziehbarkeit in Ihrem Umfeld umsetzen lässt, besprechen wir das im kostenlosen Erstgespräch (30 Minuten). Schreiben Sie uns über die Kontaktseite.

Weiterführend: Leistung RAG-Systeme · Branche Luftfahrt · Glossar: RAG, Human-in-the-Loop, Halluzination, EU AI Act