Technik
Retrieval-Augmented Generation (RAG)
Kurz beantwortet
Retrieval-Augmented Generation (RAG) ist eine Technik, bei der ein Sprachmodell vor der Antwort gezielt in einer Wissensdatenbank nachschlägt — zum Beispiel in firmeninternen Dokumenten — und die gefundenen Informationen in die Antwort einbaut, statt nur aus dem Training zu "raten".
Das Problem, das RAG löst
Sprachmodelle haben zwei eingebaute Schwächen: Ihr Wissen ist zum Trainingsstichtag eingefroren, und firmeninterne Daten kennen sie gar nicht. Fragt man sie trotzdem danach, erzeugen sie plausibel klingende, aber potenziell falsche Antworten (Halluzination).
RAG dreht den Ablauf um: Zuerst sucht das System in einer aktuellen, kontrollierten Datenquelle (Dokumente, Datenbank, Website) die relevanten Passagen — dann formuliert das Modell die Antwort ausschließlich auf deren Basis, idealerweise mit Quellenangabe. Falsches Raten wird so strukturell unterbunden.
Ablauf eines RAG-Systems
Vorbereitung: Dokumente werden zerlegt, als Embeddings in einer Vektordatenbank indexiert und laufend aktuell gehalten. Anfrage: Die Frage wird eingebettet, die ähnlichsten Passagen werden gefunden und zusammen mit der Frage ans Sprachmodell gegeben. Antwort: Das Modell formuliert aus genau diesen Passagen — und kann belegen, woher die Information stammt.
Für Unternehmen macht RAG KI-Agenten erst praxistauglich: Ein Support-Agent greift so auf echte, aktuelle Vertrags- und Produktdaten zu; ein interner Assistent beantwortet Prozessfragen aus der tatsächlichen Firmendokumentation.
Woran RAG-Projekte scheitern — und wie man das vermeidet
Die Technik ist ausgereift; scheitern tun RAG-Projekte fast immer an der Datenbasis: veraltete Dokumente, die niemand ausgemistet hat, widersprüchliche Versionen derselben Anleitung, Wissen, das nur in Köpfen statt in Dokumenten existiert. Ein RAG-System macht die Qualität der Dokumentation gnadenlos sichtbar — was oft ein wertvoller Nebeneffekt ist.
Erfolgsrezept: klein starten mit einem kuratierten, aktuellen Dokumentenbestand; Quellenangaben von Anfang an erzwingen; die Fragen der ersten Wochen auswerten, um Lücken zu finden; und Verantwortung klären, wer die Wissensbasis künftig pflegt. Ein RAG-System ist wie ein guter Mitarbeiter: Es braucht aktuelle Unterlagen, um gute Arbeit zu leisten.
RAG-Qualität messbar machen
Ein RAG-System einmal aufzusetzen ist das eine — zu wissen, ob es gut antwortet, das andere. Erfahrene Teams trennen dazu bewusst zwei Fehlerquellen: das Finden (holt das System überhaupt die richtigen Passagen heran?) und das Formulieren (macht das Modell aus den gefundenen Passagen eine korrekte, vollständige Antwort?). Eine schlechte Antwort hat oft schon im ersten Schritt ihre Ursache — die beste Formulierung hilft nichts, wenn die relevante Textstelle gar nicht gefunden wurde.
Praktisch bewährt sich ein wachsender Satz echter Prüffragen mit bekannter, korrekter Antwort und der jeweils zugehörigen Fundstelle. Gegen diesen Satz wird jede Änderung an Zerlegung, Suche oder Prompt getestet — so wird sichtbar, ob eine Anpassung wirklich verbessert oder nur an anderer Stelle verschlechtert. Ergänzend liefern die realen Nutzerfragen der ersten Wochen wertvolle Hinweise: Fragen ohne gute Antwort zeigen Wissenslücken im Dokumentenbestand, wiederkehrende Missverständnisse zeigen Schwächen in der Zerlegung. Aus diesem Rückkanal wird ein RAG-System über die Zeit spürbar besser — vorausgesetzt, jemand wertet ihn regelmäßig aus.
Praxisbeispiel
Ein Kunde fragt im Chat nach den Garantiebedingungen für ein bestimmtes Produkt. Das RAG-System findet die passende Passage im aktuellen Garantiedokument (Stand letzte Woche, nicht Trainingsstand des Modells) und antwortet exakt daraus — inklusive Verweis auf das Dokument.
Häufige Fragen zu Retrieval-Augmented Generation (RAG)
Ist RAG dasselbe wie das Modell auf unsere Daten zu trainieren?
Nein — und meist die bessere Wahl: RAG hält Wissen tagesaktuell und nachvollziehbar (Quellenangabe möglich), während Fine-Tuning teuer ist und bei jeder Datenänderung neu trainiert werden müsste.
Verhindert RAG Halluzinationen vollständig?
Es reduziert sie stark, weil die Antwort an gefundene Quellen gebunden wird. Restrisiken bleiben — deshalb gehören bei kritischen Ausgaben Quellenangaben und menschliche Freigaben dazu.
Welche Daten eignen sich für RAG?
Praktisch alles Textbasierte: Verträge, Handbücher, FAQ, E-Mail-Verläufe, Wiki-Seiten, Angebote. Voraussetzung ist eine saubere, laufend synchronisierte Einlese-Pipeline.
Wie prüfen wir, ob unser RAG-System gut antwortet?
Mit einem Satz echter Prüffragen samt bekannter Antwort und Fundstelle, gegen den jede Änderung getestet wird. Dabei trennt man das Finden der richtigen Passagen vom Formulieren der Antwort — so wird klar, wo eine schlechte Antwort tatsächlich entsteht.
Verwandte Begriffe
Wie relevant ist das für Ihren Betrieb?
Im kostenlosen Erstgespräch schauen wir uns Ihren konkreten Prozess an.