Was ein RAG-System von ChatGPT unterscheidet

„Können wir nicht einfach ChatGPT nehmen?“ ist eine der häufigsten Fragen, wenn es um KI für Firmenwissen geht. Die kurze Antwort: Für vieles ja, für die Frage „Was steht in unseren eigenen Unterlagen?“ eher nicht. Hier ist der Unterschied zwischen einem allgemeinen Chatbot und einem RAG-System, ohne Fachchinesisch.

Was ein allgemeiner Chatbot kann, und was nicht

Ein allgemeiner Chatbot wie ChatGPT basiert auf einem großen Sprachmodell. Es wurde auf riesigen Mengen öffentlich verfügbarer Texte trainiert und kann deshalb formulieren, zusammenfassen, übersetzen, erklären und programmieren. Für allgemeine Fragen und Schreibaufgaben ist das sehr nützlich.

Das Modell hat aber Grenzen, sobald es um Ihr Unternehmen geht:

• Es kennt Ihre Unterlagen nicht. Ihre Handbücher, Angebote, Verträge und Projektberichte waren nicht Teil des Trainings.
• Es kann veraltet sein. Das Wissen reicht nur bis zu einem bestimmten Stand.
• Es kann Antworten erfinden. Fehlt das Wissen, antwortet ein Modell oft trotzdem flüssig und überzeugend, auch wenn die Antwort falsch ist. Fachleute nennen das Halluzination.
• Es nennt keine belastbaren Quellen. Sie können nicht ohne Weiteres nachprüfen, woher eine Aussage stammt.

Man kann einem Chatbot natürlich einzelne Dokumente in das Eingabefenster kopieren. Bei wenigen Seiten funktioniert das. Bei tausenden Seiten stößt man an die Grenze dessen, was ein Modell pro Anfrage verarbeiten kann (das Kontextfenster), und jede Anfrage würde unnötig teuer.

Was RAG anders macht

RAG steht für „Retrieval-Augmented Generation“. Der Name klingt sperrig, das Prinzip ist einfach: erst suchen, dann antworten.

1. Ihre Dokumente werden vorbereitet. Handbücher, Datenblätter, Richtlinien oder E-Mails werden in Abschnitte zerlegt und so gespeichert, dass sie sich nach Bedeutung durchsuchen lassen (Embeddings in einer Vektordatenbank).
2. Eine Frage kommt an. Zum Beispiel: „Welche Betriebstemperatur gilt für Produkt Y?“
3. Das System sucht. Es findet die Abschnitte, die inhaltlich am besten zur Frage passen (Retrieval).
4. Das Modell antwortet auf dieser Grundlage. Es bekommt die gefundenen Abschnitte zusammen mit der Frage und formuliert eine Antwort, die sich darauf stützt, und kann die Quelle angeben.

So wird aus einem allgemeinen Sprachmodell ein Assistent, der Ihre Unterlagen „kennt“, ohne dass das Modell selbst neu trainiert werden muss.

Ein Beispiel aus der Praxis

Ein Industrieunternehmen hat technische Datenblätter zu hunderten Produkten. Vertriebsmitarbeitende und Interessenten haben Fragen wie: „Welches Produkt eignet sich für Temperaturen bis 150 Grad und Kontakt mit Öl?“ Ein allgemeiner Chatbot würde hier raten oder allgemein antworten. Ein RAG-System sucht in den Datenblättern, findet die passenden Produkte und zeigt, woher die Angaben stammen.

Bei einem Kunststoffhersteller arbeiten wir an einer verwandten Aufgabe: Ein KI-Assistent im Produktfinder beantwortet Fragen aus den technischen Datenblättern und verlinkt das Original-PDF. Das Projekt läuft als Pilot; über Ergebnisse berichten wir, sobald belastbare Daten vorliegen.

Die wichtigsten Unterschiede im Überblick

Was RAG nicht kann

Seriosität gehört dazu, deshalb auch die Grenzen:

RAG ist nicht fehlerfrei. Das System kann falsche Abschnitte finden oder eine Antwort ungenau formulieren. Das Risiko sinkt, verschwindet aber nicht. Quellenangaben ermöglichen es Nutzern, die Antwort zu prüfen, und bei kritischen Fragen kann ein Mensch freigeben.

Die Qualität der Dokumente zählt. Veraltete, widersprüchliche oder schlecht lesbare Unterlagen führen zu schlechten Antworten. Ein RAG-System macht Unordnung sichtbar, es behebt sie nicht.

Es braucht Pflege. Neue Dokumente müssen aufgenommen, alte entfernt und die Suche beobachtet werden. Ohne Pflege veraltet auch ein RAG-System.

Datenschutz und Hosting

Weil ein RAG-System mit Ihren Unterlagen arbeitet, ist der Datenschutz zentral. Die entscheidenden Fragen: Wo liegen die Dokumente und die Vektordatenbank? Wo rechnet das Sprachmodell? Werden Eingaben für Trainingszwecke genutzt? Wer darf welche Dokumente sehen?

Wir planen das von Anfang an mit. Hosting in Deutschland oder der EU ist möglich, bei den Modellen lässt sich je nach Anbieter eine Verarbeitung in der EU wählen, und mit einem Auftragsverarbeitungsvertrag regeln wir die Rollen. Auf Wunsch kommen selbst betriebene Modelle infrage. Die rechtliche Gesamtbewertung bleibt bei Ihnen und Ihrer Datenschutzbeauftragten oder Ihrem Datenschutzbeauftragten.

Wann sich ein RAG-System lohnt

Typische Anzeichen:

• Viel Wissen steckt in Dokumenten, die schwer zu durchsuchen sind.
• Dieselben Fragen werden immer wieder gestellt.
• Neue Mitarbeitende brauchen lange, bis sie sich zurechtfinden.
• Antworten müssen nachvollziehbar sein, also mit Quelle.

Wenn Ihre Dokumentenbasis klein ist, genügt manchmal eine gute Ordnerstruktur oder eine einfachere Lösung. Das sagen wir Ihnen im Gespräch ehrlich.

Fazit

Ein allgemeiner Chatbot weiß viel über die Welt, aber nichts über Ihr Unternehmen. Ein RAG-System verbindet die Sprachfähigkeit eines Modells mit Ihren eigenen Dokumenten und kann seine Antworten belegen. Es ist kein Zauber und kein Ersatz für gepflegte Unterlagen, aber für Firmenwissen die deutlich passendere Architektur.

Weiterführend: Leistung: RAG-Systeme · Glossar: RAG, Retrieval, Embedding, Vektordatenbank, Halluzination