RAG-Systeme: Firmenwissen als KI-Wissensdatenbank, mit Quellenangabe

Kapitel 01

Was ist ein RAG-System?

Ein RAG-System ist eine Software, die Fragen in normaler Sprache beantwortet und dabei auf Ihre eigenen Dokumente zugreift. Die Abkürzung steht für „Retrieval-Augmented Generation“, auf Deutsch etwa „durch Suche angereicherte Textgenerierung“. Gemeint ist ein zweistufiges Vorgehen: Zuerst sucht das System die relevanten Stellen in Ihrem Datenbestand heraus. Dann formuliert ein Sprachmodell aus diesen Stellen eine Antwort und gibt an, woher sie stammt.

Ein Beispiel: Ein Servicetechniker fragt: „Welches Drehmoment gilt für die Befestigungsschrauben bei Modell X?“ Ein gewöhnlicher Chatbot würde raten oder allgemeine Angaben machen. Ein RAG-System findet im aktuellen Wartungshandbuch die passende Tabelle, nennt den Wert und verweist auf Dokument und Seite. Der Techniker kann die Angabe in Sekunden gegenprüfen.

Warum ist das für KMU relevant? Weil gerade dort Wissen selten in einer zentralen Datenbank liegt. Es steckt in gewachsenen Ordnerstrukturen, in Angeboten der letzten zehn Jahre, in Servicetickets und in den Erfahrungen langjähriger Mitarbeitender. Ein RAG-System macht diesen Bestand nutzbar, ohne dass Sie zuvor alles in ein neues System umziehen oder aufwendig neu strukturieren müssen. Die Dokumente bleiben, wo sie sind; das System liest sie mit und hält seinen Suchindex aktuell.

Wesentliche Merkmale eines RAG-Systems:

• Eigene Datenbasis: Es antwortet aus Ihren Unterlagen, nicht aus allgemeinem Internetwissen.
• Quellenangabe: Jede Antwort verweist auf die Fundstelle.
• Aktualität: Ändern sich Dokumente, ändert sich die Antwort, ohne dass ein Modell neu trainiert werden muss.
• Kontrolle: Sie bestimmen, welche Quellen angebunden sind und wer was sehen darf.

Kapitel 02

Wie funktioniert RAG, Schritt für Schritt?

Ein RAG-System arbeitet in zwei Phasen: einer Vorbereitung und einer Anfrage, die bei jeder Frage abläuft.

Vorbereitung (Indexierung):

1. Dokumente einlesen: PDFs, Word-Dateien, Wiki-Seiten, Tickets oder E-Mails werden aus den Quellsystemen geholt und in Text umgewandelt. Bei Scans kommt Texterkennung (OCR) zum Einsatz.
2. In Abschnitte teilen: Lange Dokumente werden in sinnvolle Abschnitte zerlegt, meist entlang von Überschriften, Absätzen oder Tabellen. Zu kleine Abschnitte verlieren Zusammenhang, zu große bringen Ungenauigkeit.
3. Bedeutung berechnen: Jeder Abschnitt wird von einem Embedding-Modell in eine Zahlenfolge übersetzt, einen Vektor, der seine Bedeutung abbildet. Texte mit ähnlicher Bedeutung liegen in diesem Raum nah beieinander.
4. In der Vektordatenbank speichern: Die Vektoren landen zusammen mit dem Originaltext und Metadaten (Dokument, Seite, Datum, Berechtigung) in einer Vektordatenbank, etwa Qdrant, Pinecone oder pgvector.

Anfrage (bei jeder Frage):

1. Frage verstehen: Die Frage wird auf dieselbe Weise in einen Vektor übersetzt.
2. Passende Stellen finden: Die Datenbank liefert die Abschnitte, die der Frage inhaltlich am nächsten sind, auf Wunsch kombiniert mit klassischer Stichwortsuche. Berechtigungen werden bereits hier berücksichtigt.
3. Antwort formulieren: Ein Sprachmodell (z. B. Claude, OpenAI, Gemini oder Mistral) erhält die Frage plus die gefundenen Abschnitte und formuliert die Antwort. Die Anweisung lautet: nur auf Basis dieser Quellen antworten, Quellen nennen, bei fehlender Grundlage keine Antwort erfinden.
4. Belegen: Die Antwort wird mit Verweisen auf Dokument und Fundstelle ausgegeben.

Zwei Verfeinerungen steigern die Trefferqualität deutlich. Die hybride Suche kombiniert die Bedeutungssuche mit klassischer Stichwortsuche. Das hilft bei Artikelnummern, Normbezeichnungen oder Eigennamen, die ein reines Bedeutungsverfahren schlecht trifft. Das Re-Ranking sortiert die gefundenen Abschnitte in einem zweiten Schritt noch einmal nach Relevanz, sodass nur die besten an das Sprachmodell gehen. Beides sind Stellschrauben, die wir im Projekt anhand Ihrer echten Fragen einstellen.

Dieser Aufbau erklärt auch, warum RAG-Systeme nachvollziehbar sind: Zwischen Frage und Antwort liegt ein sichtbarer Zwischenschritt, die gefundenen Textstellen.

Kapitel 03

RAG, Fine-Tuning oder Datei-Upload: Was passt?

Es gibt drei verbreitete Wege, ein Sprachmodell mit Firmenwissen zu verbinden. Sie lösen unterschiedliche Aufgaben.

Datei-Upload in einem Chatdienst. Sie laden einzelne Dokumente in einen Chat und stellen Fragen dazu. Das eignet sich für Einzelfälle, etwa einen langen Vertrag zu analysieren. Es skaliert nicht auf Tausende Dokumente, kennt keine Berechtigungen und ist schwer zu kontrollieren. Datenschutz und Hosting hängen vom Dienst ab.

Fine-Tuning. Ein Modell wird mit Ihren Texten nachtrainiert, um Stil, Fachsprache oder ein bestimmtes Verhalten zu lernen. Es eignet sich nicht gut dafür, Fakten zuverlässig abrufbar zu machen: Das Wissen lässt sich nicht gezielt aktualisieren oder löschen, und Quellenangaben sind nicht möglich.

RAG. Das Modell bleibt unverändert, die Dokumente liegen in einer eigenen Datenbank, und bei jeder Frage werden die passenden Stellen mitgegeben. Aktualisierung, Quellenangabe und Zugriffsschutz sind möglich. Der Preis dafür ist der Aufwand für Datenaufbereitung und Suche.

Faustregel:

• Einzelne Dokumente, einmalige Analyse: Datei-Upload.
• Gleichbleibender Stil oder bestimmte Ausgabeformate: Fine-Tuning, oft in Kombination.
• Viele Dokumente, wechselnde Inhalte, belegbare Antworten für mehrere Nutzende: RAG.

In der Praxis setzen die meisten Unternehmen auf RAG, weil es genau die Anforderung erfüllt, die in KMU dominiert: Mitarbeitende sollen schnell verlässliche Antworten aus dem aktuellen Wissensstand erhalten.

Kapitel 04

Welche Daten eignen sich für RAG?

Die Qualität eines RAG-Systems hängt stärker an den Daten als am gewählten Sprachmodell. Wenn die Dokumente veraltet, widersprüchlich oder unleserlich sind, gibt auch das beste Modell schlechte Antworten.

Gut geeignet:

• Handbücher, Arbeitsanweisungen, Richtlinien und Prozessbeschreibungen als Text-PDF oder Word-Datei
• Verträge und Vereinbarungen mit klarer Struktur
• Wiki-Seiten und FAQ-Sammlungen
• Gelöste Tickets mit nachvollziehbarer Lösungsbeschreibung
• Technische Datenblätter, sofern sie strukturiert extrahiert werden können

Mit Zusatzaufwand:

• Gescannte Dokumente (OCR nötig, Fehlerquote prüfen)
• Komplexe Tabellen, Diagramme und Zeichnungen (Sonderverarbeitung)
• Handschriftliche Notizen
• E-Mail-Verläufe mit viel Zitat- und Signaturballast

Ein häufiger Irrtum lautet, man müsse vor dem Projekt alle Dokumente perfekt aufräumen. Das ist nicht nötig. Es genügt, mit einem abgegrenzten Bestand zu beginnen und gemeinsam zu prüfen, welche Dokumente gültig sind. Wichtiger als Vollständigkeit ist, dass das System erkennt, welche Version gilt. Dafür sind Metadaten wie Gültigkeitsdatum und Status entscheidend.

Vorbereitung, die sich lohnt:

1. Bestandsaufnahme: Welche Quellen gibt es, wer pflegt sie, wie aktuell sind sie?
2. Aussortieren: Veraltete Versionen und Dubletten entfernen oder kennzeichnen. Das System kann sonst veraltete Angaben zitieren.
3. Zuständigkeit klären: Wer ist für welche Dokumente verantwortlich? Wer gibt neue Inhalte frei?
4. Metadaten festlegen: Version, Gültigkeitsdatum, Abteilung und Vertraulichkeit helfen, bessere Treffer zu erzielen.

Ein Beispiel aus unserer Projektpraxis liegt im Industriekontext: Bei einem Kunststoffhersteller kommen die Kennwerte strukturiert aus dem Produktfinder, die Datenblätter zerlegt ein wöchentlicher Import in Abschnitte. Ein KI-Assistent schlägt gezielt darin nach, bewusst vorerst ohne Vektordatenbank. Das Projekt ist ein Pilot, Messwerte zur Antwortqualität gibt es noch nicht.

Kapitel 05

Wie bleiben Rechte, Datenschutz und Quellen sauber?

Ein RAG-System macht Wissen leichter zugänglich. Damit es nicht auch Wissen zugänglich macht, das nicht für alle gedacht ist, müssen drei Punkte von Anfang an geplant sein.

Zugriffsrechte. Nicht jede Mitarbeiterin soll Gehaltsunterlagen oder vertrauliche Verträge abfragen können. Deshalb werden Berechtigungen aus den Quellsystemen (etwa SharePoint oder Microsoft 365) mitgeführt, und bei jeder Suche werden nur Abschnitte berücksichtigt, die die fragende Person sehen darf. Dieser Filter muss vor der Antwortgenerierung greifen, nicht danach.

Datenschutz (DSGVO). Folgende Punkte sind zu klären:

• Hosting: Wo laufen Datenbank und Anwendung? Hosting in Deutschland oder der EU ist möglich.
• Modellnutzung: Wo werden Anfragen an das Sprachmodell verarbeitet? Eine EU-Region, z. B. AWS Frankfurt mit EU-Inferenz, hält die Verarbeitung in der EU.
• Auftragsverarbeitung: Mit dem Dienstleister und den eingesetzten Unterauftragnehmern braucht es einen Auftragsverarbeitungsvertrag (AVV).
• Personenbezogene Daten: Enthalten Dokumente Daten über Personen, braucht es eine Rechtsgrundlage, ein Löschkonzept und gegebenenfalls eine Datenschutz-Folgenabschätzung. Binden Sie Ihre Datenschutzbeauftragte früh ein.
• Kein Training mit Ihren Daten: Anbieter und Konfiguration sollten so gewählt sein, dass Ihre Dokumente nicht zum Training von Modellen dienen.

KI-Verordnung. Die EU-KI-Verordnung (Verordnung (EU) 2024/1689) stuft Systeme nach Risiko ein. Ein internes Wissenssystem fällt in der Regel nicht unter die Hochrisiko-Kategorie. Zwei Pflichten sind dennoch praxisrelevant: Erstens die KI-Kompetenz nach Artikel 4, also Maßnahmen, die die KI-Kompetenz der Mitarbeitenden fördern, etwa Schulungen und klare Regeln. Zweitens die Transparenz nach Artikel 50, falls das System direkt mit Kundinnen und Kunden interagiert: Diese müssen erkennen können, dass sie mit einer KI sprechen. Die Einordnung im Einzelfall sollte mit Ihrer Rechtsberatung erfolgen.

Quellenangaben als Kontrollinstrument. Quellenangaben sind nicht nur Komfort, sondern Ihre wichtigste Sicherung. Wer eine Antwort mit zwei Klicks gegenprüfen kann, nutzt das System mit mehr Vertrauen und erkennt Fehler schneller.

Kapitel 06

Wie misst man, ob ein RAG-System gut antwortet?

„Fühlt sich gut an“ reicht als Qualitätsmaßstab nicht. Ein RAG-System sollte vor dem Start und im Betrieb systematisch geprüft werden.

Schritt 1: Fragenkatalog erstellen. Sammeln Sie gemeinsam mit den späteren Nutzenden echte Fragen aus dem Alltag, am besten 50 bis 100 Fragen als Richtwert. Zu jeder Frage notieren Fachleute die korrekte Antwort und die Fundstelle.

Schritt 2: Zwei Ebenen prüfen.

• Suche (Retrieval): Wurde die richtige Textstelle gefunden? Wenn nicht, liegt das Problem bei Aufbereitung, Abschnittsgröße oder Suchstrategie.
• Antwort (Generation): Ist die Antwort korrekt, vollständig und durch die Quelle gedeckt? Wenn nicht, liegt das Problem bei Anweisung oder Modell.

Schritt 3: Typische Fehlerbilder erkennen.

• Die Antwort ist richtig, nennt aber die falsche Quelle.
• Das System findet eine veraltete Dokumentversion.
• Das System antwortet, obwohl keine Grundlage vorhanden ist (Halluzination).
• Das System findet nichts, obwohl die Antwort im Datenbestand steht.

Schritt 4: Im Betrieb weiter messen. Daumen hoch/runter, Rückfragen, nicht beantwortete Fragen und häufig gesuchte Themen zeigen, wo nachgebessert werden muss. Fehlende Antworten sind oft ein Hinweis auf Wissenslücken in der Dokumentation.

Schritt 5: Menschen einbeziehen. Lassen Sie Fachleute eine Stichprobe der Antworten bewerten, nicht nur die Technik. Eine Antwort kann formal korrekt und trotzdem für die Praxis unbrauchbar sein, etwa weil eine Ausnahmeregelung fehlt. Dieses Urteil kann nur Ihr Team fällen.

Schritt 6: Änderungen kontrolliert einspielen. Wird ein Sprachmodell gewechselt oder die Suche angepasst, laufen die Testfragen erneut. So bemerken Sie Verschlechterungen, bevor Nutzende sie spüren.

Bei Vertion gehört ein solcher Testkatalog zum Lieferumfang. Sie sehen nachvollziehbar, wie gut das System bei Übergabe antwortet, und haben eine Grundlage für spätere Änderungen.

Kapitel 07

Was kostet ein RAG-System und wie startet man?

Ein Pilot mit einer Datenquelle beginnt bei 6.900 € netto; einen Festpreis nennen wir erst nach Blick auf Ihre Daten. Die Kosten setzen sich aus einmaligen und laufenden Anteilen zusammen.

Einmalig (Projekt):

• Analyse von Quellen, Rechten und Anforderungen
• Datenanbindung und Aufbereitung
• Aufbau von Suche, Antwortlogik und Oberfläche
• Test, Abnahme und Schulung

Laufend (Betrieb):

• Hosting von Anwendung und Vektordatenbank
• Nutzung der Sprachmodelle (abhängig von Fragenmenge und Modellwahl)
• Betreuung, Pflege und Weiterentwicklung

Preisbeeinflussende Faktoren:

1. Anzahl und Art der Quellen
2. Zustand der Dokumente (OCR, Tabellen, Versionen)
3. Rechtekonzept und Anzahl der Nutzenden
4. Integrationen (Teams, Intranet, Ticketsystem)
5. Hosting-Anforderungen (EU-Cloud oder eigene Infrastruktur)

Den Preis legen wir nach dem Erstgespräch in einem festen Angebot fest, abhängig von Umfang, Datenquellen und Hosting. Die laufenden Kosten für Betrieb und Modellnutzung weisen wir im Angebot getrennt aus.

Wichtig für die Wirtschaftlichkeit: Ein RAG-System lohnt sich vor allem dort, wo viele Personen regelmäßig suchen oder wo eine einzelne falsche oder verspätete Antwort teuer ist. Fragen Sie sich deshalb: Wie oft pro Woche wird in Ihrem Team gesucht, und was kostet eine Stunde Suche? Mit dem Kurz-Rechner weiter oben erhalten Sie dafür eine erste Schätzung.

So starten Sie sinnvoll:

1. Einen Anwendungsfall wählen. Beginnen Sie mit einer Abteilung und einer klaren Fragestellung, etwa Support oder Vertragsfragen.
2. Einen überschaubaren Datenbestand definieren. Lieber 200 gute Dokumente als 20.000 ungeprüfte.
3. Pilot mit echten Nutzenden. Zehn Personen, die täglich suchen, liefern bessere Rückmeldungen als eine große Präsentation.
4. Erst nach der Auswertung ausbauen. Auf Basis des Testkatalogs entscheiden Sie, was verbessert wird und wohin es als Nächstes geht.

Bei Vertion läuft die Zahlung nach einem festen Modell: 40 % nach Auftragsbestätigung, 60 % nach Abnahme, Angebotspreise netto zzgl. 19 % Umsatzsteuer. Im kostenlosen 30-Minuten-Erstgespräch klären wir, ob sich ein RAG-System für Ihren Fall lohnt, und sagen es auch, wenn nicht.