RAG (Retrieval Augmented Generation): KI-Antworten auf eigenen Dokumenten

Retrieval Augmented Generation, kurz RAG, verbindet zwei Schritte: Zuerst wird in einem eigenen Dokumentenbestand nach passenden Textstellen gesucht, danach formuliert ein Sprachmodell auf Basis dieser Fundstellen eine Antwort. Das Verfahren adressiert die Schwäche, dass ein Sprachmodell interne Unternehmensinhalte nicht kennt. Es beseitigt jedoch nicht alle Fehlerquellen.

Wie der Ablauf funktioniert

Die Dokumente werden zunächst in handhabbare Abschnitte zerlegt und in eine durchsuchbare Form gebracht. Üblich sind Vektorrepräsentationen, die inhaltliche Ähnlichkeit abbilden, häufig ergänzt um eine klassische Stichwortsuche. Stellt ein Nutzer eine Frage, sucht das System die dazu passenden Abschnitte, übergibt sie zusammen mit der Frage an das Sprachmodell und lässt daraus eine Antwort erzeugen.

Entscheidend ist: Das Modell antwortet auf Grundlage dessen, was der Suchschritt geliefert hat. Findet die Suche die relevante Stelle nicht, kann die beste Antwortformulierung sie nicht ersetzen. Ein erheblicher Teil der Qualität eines RAG-Systems entsteht daher im Suchschritt, nicht im Sprachmodell.

Warum das für ein KMU interessant ist

In vielen Unternehmen liegt fachliches Wissen verstreut und ist schwer auffindbar. RAG kann hier den Zugriff verkürzen, ohne dass Inhalte neu aufbereitet werden müssen.

• Interne Handbücher, Arbeitsanweisungen und Qualitätsdokumente
• Technische Dokumentation zu Produkten und Anlagen
• Zurückliegende Angebote, Leistungsbeschreibungen und Projektdokumentation
• Wissensdatenbank des Supports und wiederkehrende Kundenfragen
• Vertrags- und Lieferantenunterlagen für die interne Recherche

Der Nutzen liegt vor allem dort, wo Antworten heute durch Nachfragen bei erfahrenen Kolleginnen und Kollegen entstehen und dieses Wissen an einzelnen Personen hängt.

Abhängigkeit von der Datenqualität

RAG erbt die Qualität der zugrundeliegenden Dokumente vollständig. Existieren drei Fassungen einer Arbeitsanweisung, wird das System eine davon heranziehen, ohne den Widerspruch zu bemerken. Veraltete Preislisten oder zurückgezogene Verfahrensanweisungen führen zu Antworten, die formal korrekt aus der Quelle abgeleitet, inhaltlich aber falsch sind. Dieser Effekt ist gravierender als bei einer klassischen Suche, weil die Antwort abschließend wirkt und der Nutzer die Quelle nicht mehr selbst liest.

Praktisch heißt das: Vor der Einführung steht eine Bestandsaufnahme. Klären Sie, welche Dokumente gültig sind, wer sie pflegt und wie Änderungen nachgeführt werden. Ebenso wichtig sind Zugriffsrechte. Ein RAG-System muss die vorhandenen Berechtigungen abbilden, sonst werden über den Umweg der Antwort Inhalte zugänglich, die für den Fragenden nicht bestimmt sind. Personalakten, Gehaltsdaten oder vertrauliche Vertragsunterlagen gehören nur unter klaren Bedingungen in einen solchen Bestand.

Grenzen des Verfahrens

RAG reduziert erfundene Angaben, verhindert sie aber nicht. Das Modell kann gefundene Textstellen falsch zusammenfassen, Aussagen aus verschiedenen Dokumenten unzulässig verbinden oder bei fehlender Fundstelle dennoch eine Antwort formulieren. Auch die Angabe von Quellen ist kein Beleg für Richtigkeit: Die verlinkte Stelle kann existieren, ohne die Aussage tatsächlich zu stützen.

Zusätzlich gilt: Fragen, die eine Auswertung über viele Dokumente hinweg erfordern, etwa Summen oder Vollständigkeitsprüfungen, sind mit RAG schlecht abgebildet, weil nur wenige Abschnitte in die Antwort einfließen. Für solche Auswertungen bleiben Datenbanken und Auswertungswerkzeuge die geeignetere Wahl.

Typische Fehler

• Ungefilterte Ablage kompletter Laufwerke inklusive veralteter und doppelter Stände
• Keine Übernahme der bestehenden Zugriffsberechtigungen in das System
• Antworten ohne Quellenangabe, sodass eine Nachprüfung praktisch unmöglich wird
• Fehlender Prozess für die Aktualisierung des Dokumentenbestands nach dem Projektstart
• Keine Auswertung, welche Fragen schlecht beantwortet werden
• Einsatz für verbindliche Auskünfte gegenüber Kunden ohne fachliche Freigabe

• RAG kombiniert Suche und Sprachmodell; die Suchqualität begrenzt die Antwortqualität.
• Widersprüchliche oder veraltete Dokumente erzeugen zuverlässig falsche Antworten.
• Zugriffsrechte müssen im System abgebildet sein, sonst entstehen Datenschutzprobleme.
• Quellenangaben in der Antwort sind Voraussetzung für eine belastbare Nachprüfung.
• Für Auswertungen über große Datenmengen sind Datenbankwerkzeuge geeigneter als RAG.