RAG-Studien

Einführung

RAG-Systeme (Retrieval-Augmented Generation) sind zur Referenzarchitektur für KI-Dokumentenanwendungen im professionellen Umfeld geworden. Durch die Kombination einer semantischen Suchmaschine mit einem generativen Sprachmodell ermöglicht RAG die Beantwortung komplexer Fragen auf Basis einer externen Wissensdatenbank, ohne teures Feintuning und mit der Garantie, dass die Antworten auf überprüfbaren Dokumentenquellen beruhen. Dieser Ansatz löst zwei grundlegende Probleme von LLMs: Halluzinationen und das Fehlen domänenspezifischen Fachwissens. RAG verankert die Generierung in Fakten – denen aus den Dokumenten der Organisation – und ermöglicht es, das Wissen aktuell zu halten, ohne das Modell neu zu trainieren, allein durch Aktualisierung der Dokumentenbasis.

Technische Herausforderungen

Die Qualität eines RAG-Systems beruht auf einer Kette vernetzter Architekturentscheidungen. Jedes Glied der Pipeline – von der Dokumentenzerteilung bis zur Generierung der endgültigen Antwort – beeinflusst direkt die Relevanz und Zuverlässigkeit der Ergebnisse. Ein zu grobes Chunking ertränkt die relevante Information in einem Kontextmeer und verdünnt die Fähigkeit des LLM, die genaue Antwort zu extrahieren. Ein zu feines Chunking zersplittert die Argumentation und entzieht dem Modell die für eine kohärente Antwort erforderliche Gesamtübersicht. Ein für die Sprache oder Domäne des Korpus ungeeignetes Embedding-Modell erzeugt Vektorähnlichkeiten, die nicht die tatsächliche semantische Nähe widerspiegeln. Eine schlecht kalibrierte Retrieval-Strategie liefert themenfremde Dokumente zurück oder übersieht wesentliche Passagen. Die Generierung schließlich hängt von der Qualität des bereitgestellten Kontexts ab: Ein leistungsstarkes LLM mit schlechtem Kontext produziert eine mittelmäßige Antwort, während ein bescheidenes LLM mit hervorragendem Kontext bemerkenswerte Ergebnisse liefern kann.

Dieses Forschungsprojekt schlägt eine systematische und methodische Untersuchung aller Parameter einer RAG-Pipeline vor, mit dem Ziel, konkrete, quantifizierte und reproduzierbare Empfehlungen für die Konzeption industrieller RAG-Systeme zu erarbeiten. Wir beschränken uns nicht auf die Zusammenstellung theoretischen Wissens: Jede Konfiguration wird getestet, gemessen und mit echten Fachkorpora anhand objektiver Metriken verglichen. Die Experimente erstrecken sich über verschiedene Korpora – technische Dokumente, juristische Texte, Produkthandbücher, Geschäftskorrespondenz, Tätigkeitsberichte – um die Generalisierbarkeit der Ergebnisse zu gewährleisten. Zu den Projektergebnissen gehören ein Architekturleitfaden, Leistungsmatrizen pro Konfiguration und ein wiederverwendbarer Teststand zur Bewertung neuer Komponenten.

Chunking-Strategie

Die Chunking-Strategie – die Aufteilung von Dokumenten in systemverwertbare Segmente – ist der erste und vielleicht bestimmendste Parameter einer RAG-Pipeline. Eine schlechte Aufteilung beeinträchtigt unwiderruflich die Retrieval-Qualität, unabhängig von der Qualität des Embedding-Modells oder der Leistungsfähigkeit des LLM. Wir untersuchen drei Hauptstrategiefamilien. Das feste Chunking ist die einfachste Methode: Dokumente werden in regelmäßigen Abständen geschnitten, typischerweise zwischen 256 und 1024 Tokens, mit oder ohne Überlappung zwischen benachbarten Chunks, um ein Durchtrennen von Informationen zu vermeiden. Seine Einfachheit ist sein Hauptvorteil: Es ist schnell, deterministisch und leicht zu implementieren. Seine Grenzen zeigen sich bei stark strukturierten Dokumenten: Ein schlecht platzierter Schnitt kann eine Überschrift von ihrem Inhalt, eine Tabelle von ihrer Legende oder eine Frage von ihrer Antwort trennen. Die Überlappung mildert dieses Problem teilweise, erhöht aber das Volumen der Vektordatenbank und kann Redundanz einführen.

Das semantische Chunking verbessert das feste Chunking, indem es die natürliche Segmentierung des Dokuments nutzt. Anstatt bei einer willkürlichen Größe zu schneiden, erkennt es semantische Grenzen: Absatzenden, Abschnittswechsel, thematische Übergänge. Die Erkennung dieser Grenzen kann auf mehreren Ansätzen beruhen: der Analyse der Ähnlichkeit zwischen aufeinanderfolgenden Sätzen (ein plötzlicher Ähnlichkeitsabfall deutet auf einen Themenwechsel hin), der Dokumentenstruktur (Überschriften, Unterüberschriften, Nummerierungen, Listen) oder einem speziell trainierten Segmentierungsmodell. Das Ergebnis ist eine Menge von Chunks, die die thematische Einheit der Dokumente respektieren und so die Retrieval-Relevanz signifikant verbessern: Jeder Chunk enthält ein kohärentes Thema, was die Übereinstimmung mit der Anfrage und das Verständnis durch das LLM erleichtert.

Das hierarchische Chunking ist der anspruchsvollste Ansatz. Es erzeugt eine mehrstufige Darstellung der Dokumente: ein Inhaltsverzeichnis auf der höchsten Ebene, Abschnitte und Unterabschnitte auf der mittleren Ebene und den detaillierten Inhalt auf der feinsten Ebene. Die Abfrage erfolgt zunächst auf der groben Ebene, um die relevanten Abschnitte zu identifizieren, dann auf der feinen Ebene zur Extraktion der genauen Passagen. Diese Strategie eignet sich besonders für lange und strukturierte Dokumente: technische Handbücher, Forschungsberichte, juristische Dokumente. Die Hierarchie ermöglicht die Beantwortung sowohl allgemeiner Fragen (Wie ist dieses Dokument aufgebaut?) als auch präziser Fragen (Welcher Toleranzwert wird auf Seite 47 genannt?). Die Ergebnisse unserer Kampagnen zeigen, dass hierarchisches Chunking flache Ansätze um 15 bis 25 % bei den Retrieval-Genauigkeitsmetriken für Dokumente mit mehr als 50 Seiten übertrifft.

Embedding-Modelle bilden das Herz der semantischen Suche in einem RAG-System. Ihre Aufgabe ist es, Text – Dokument-Chunks und Abfragen – in numerische Vektoren in einem hochdimensionalen Raum zu transformieren, in dem die geometrische Nähe die semantische Nähe widerspiegelt. Die Wahl des Embedding-Modells hat direkte Auswirkungen auf die Retrieval-Qualität: Ein gutes Modell erzeugt Darstellungen, in denen relevante Dokumente natürlich nahe an der Anfrage liegen, während ein schlechtes Modell Konzepte vermischt und themenfremde Ergebnisse liefert. Wir bewerten systematisch die am häufigsten verwendeten Embedding-Modelle des Ökosystems: die text-embedding-Modelle von OpenAI (ada-002, text-embedding-3-small, text-embedding-3-large), die BGE-Modelle (BAAI), E5 (Microsoft), die Sentence Transformers (all-MiniLM-L6-v2, multilingual-e5-large), die Cohere-Modelle sowie die Embedding-Modelle von Mistral und Jina AI.

Die Bewertungskriterien für Embedding-Modelle umfassen mehrere Dimensionen. Die Retrieval-Leistung misst die Fähigkeit des Modells, relevante Dokumente an die Spitze der Ergebnisse zu setzen: Wir verwenden die Standardmetriken Recall@k, Precision@k und MRR (Mean Reciprocal Rank) auf annotierten Abfragesätzen für jeden Fachkorpus. Die mehrsprachige Robustheit bewertet die Qualität der Vektordarstellung in verschiedenen Sprachen: Ein in Englisch exzellentes Modell kann bei juristischem Französisch oder technischem Deutsch um 30 bis 50 % nachlassen. Die Domänenresistenz misst die Fähigkeit des Modells, spezialisierte Semantik zu erfassen: Ein Korpus mit technischen Dokumenten verwendet ein Vokabular und Konzepte, die sich erheblich von der Allgemeinsprache unterscheiden, auf der die Modelle überwiegend trainiert sind. Die Dimension der Vektoren beeinflusst Leistung, Speicher und Suchgeschwindigkeit: Vektoren mit 384 Dimensionen sind schneller zu durchsuchen, können aber weniger ausdrucksstark sein als Vektoren mit 1536 oder 3072 Dimensionen.

Die Ergebnisse unserer Evaluierungskampagnen zeigen signifikante Unterschiede zwischen den Modellen. Auf technischen Korpora auf Französisch erzielen mehrsprachige Modelle (multilingual-e5-large, BGE-m3) einen um 15 bis 25 % höheren Recall@5 als englische einsprachige Modelle. Die OpenAI text-embedding-3-large-Modelle dominieren bei der Rohqualität, aber ihre Inferenzkosten – proportional zur Tokenzahl – können für Basen mit mehreren Millionen Dokumenten prohibitiv sein. Open-Source-Modelle wie BGE und E5 bieten das beste Preis-Leistungs-Verhältnis: kostenlos nutzbar, lokal ausführbar über Ollama oder Sentence Transformers, mit Leistungen nahe an proprietären Modellen auf den meisten Korpora. Die Modellwahl hängt vom Kompromiss zwischen Qualität, Kosten, Latenz und Datensouveränität ab: Ein lokales Modell garantiert, dass keine Dokumentendaten die Infrastruktur verlassen – ein entscheidendes Kriterium für sensible oder regulierungsunterworfene Daten.

Die Retrieval-Strategie – wie relevante Chunks für die Beantwortung einer Anfrage ausgewählt und angeordnet werden – ist der zweite kritische Parameter der RAG-Pipeline. Wir untersuchen mehrere kombinierbare Ansätze. Die reine Vektorsuche (Top-k) ist die Basismethode: Die Anfrage wird vektorisiert, eine Kosinus-Ähnlichkeits- oder L2-Distanzsuche wird in der Vektordatenbank durchgeführt, und die nächsten k Chunks werden zurückgegeben. Der Wert von k ist ein sensibler Parameter: Ein zu niedriges k (1 bis 3) kann wesentliche ergänzende Passagen übersehen, während ein zu hohes k (20 bis 50) das LLM in einem umfangreichen Kontext ertränkt und die relevante Information verdünnt. Unsere Experimente zeigen, dass ein k zwischen 5 und 15 die beste Balance für die meisten Anwendungsfälle bietet, mit einer Feinoptimierung je nach Chunk-Länge und Anfragekomplexität.

Die Ergebnisse-Fusion (Fusion Retrieval) kombiniert mehrere Suchstrategien, um die Abdeckung und Robustheit zu verbessern. Das Prinzip besteht darin, mehrere Abfragen parallel auszuführen – mit unterschiedlichen Formulierungen, verschiedenen Embedding-Modellen oder verschiedenen Suchmodi – und die Ergebnisse dann in einer einzigen Rangliste zusammenzuführen. Die Fusion kann durch gewichtete Interpolation der Punktzahlen, nach Rang (Rangfusion, RRF-Methode – Reciprocal Rank Fusion), die höher eingestufte Dokumente in jeder Liste stärker gewichtet, oder durch Mehrheitsabstimmung erfolgen. Die RRF-Methode ist besonders effektiv: Sie ist einfach, deterministisch und erfordert keine Gewichtskalibrierung. Unsere Tests zeigen, dass die Fusion von zwei oder drei Retrieval-Strategien den Recall gegenüber einer Einzelstrategie um 10 bis 20 % verbessert, mit einer signifikanten Reduzierung der Ergebnisvarianz.

Das Re-Ranking stellt eine ergänzende Stufe zur initialen Suche dar. Nachdem ein breiter Satz von Kandidaten-Chunks abgerufen wurde (k = 20 bis 50), bewertet ein Re-Ranking-Modell – leistungsfähiger, aber langsamer als das Embedding-Modell – die Relevanz jedes Chunks in Bezug auf die Anfrage neu. Re-Ranking-Modelle wie Cohere Rerank, BGE-Reranker oder Cross-Encoder sind auf diese Aufgabe spezialisiert: Anstatt Vektoren zu vergleichen, nehmen sie das Paar (Anfrage, Chunk) als Eingabe und erzeugen einen präziseren Relevanz-Score. Dieser zweistufige Ansatz kombiniert die Geschwindigkeit der Vektorsuche (Stufe 1) mit der Präzision des Re-Rankings (Stufe 2). Der Gewinn ist erheblich: Recall@5 verbessert sich je nach Korpus um 15 bis 30 %, mit einem akzeptablen Latenzaufwand (einige hundert Millisekunden pro Anfrage für Re-Ranking auf GPU).

Die Hybrid Search – die Kombination von Vektorsuche und lexikalischer BM25-Suche – ist eine leistungsstarke Technik, um die jeweiligen Grenzen beider Ansätze zu überwinden. Die Vektorsuche zeichnet sich durch die Erfassung semantischer Ähnlichkeit aus: Sie findet Dokumente zum gleichen Thema, selbst wenn unterschiedliche Wörter verwendet werden. Die BM25-Suche zeichnet sich durch exakte lexikalische Übereinstimmung aus: Sie findet Dokumente, die die genauen Begriffe der Anfrage enthalten, was für Identifikatoren, Referenzen, Codes, Eigennamen und seltene technische Begriffe unerlässlich ist. Die Kombination beider Modi deckt alle Fälle ab: Eine Abfrage zur vorzeitigen Kündigung Klausel 12 findet sowohl Dokumente, die andere Formulierungen verwenden (vorzeitige Beendigung, Termination) über die Vektorsuche, als auch Dokumente, die genau Klausel 12 erwähnen, über BM25.

Die Implementierung der Hybrid Search hängt von der verwendeten Vektordatenbank ab. Qdrant unterstützt nativ die Kombination von Vektorsuche und Filtern, aber BM25 muss über einen separaten invertierten Index oder eine benutzerdefinierte Scoring-Funktion implementiert werden. In unserem Teststand verwenden wir eine Doppelindex-Architektur: einen Qdrant-Vektorindex für die semantische Suche und einen BM25-Index basierend auf Tantivy oder Elasticsearch für die lexikalische Suche. Die Ergebnisse beider Indizes werden über RRF mit konfigurierbaren Gewichten fusioniert. Die Gewichtskalibrierung zwischen den beiden Modi ist ein korpusabhängiger Parameter: Ein hohes Vektorgewicht (0,7 bis 0,8) ist für erzählende oder beschreibende Dokumente vorzuziehen, während ein höheres lexikalisches Gewicht (0,5 bis 0,7) für Dokumente mit vielen technischen Begriffen, Codes und Referenzen optimal ist. Unsere Tests zeigen, dass Hybrid Search den Recall@10 um 12 bis 18 % gegenüber der reinen Vektorsuche verbessert, mit einem besonders ausgeprägten Gewinn bei Abfragen mit spezifischen benannten Entitäten.

Die systematische Bewertung der Qualität einer RAG-Pipeline ist eine Herausforderung für sich, die Gegenstand eines eigenen Teilprojekts ist. Im Gegensatz zu einer Klassifikationsaufgabe, bei der die Genauigkeit direkt messbar ist, ist die Qualität eines RAG-Systems mehrdimensional und teilweise subjektiv. Wir haben ein umfassendes Bewertungsframework entwickelt, das fünf Achsen abdeckt: Die Treue misst, ob die LLM-Antwort getreu auf den abgerufenen Dokumenten basiert – eine Antwort kann an sich korrekt sein, aber nicht auf den bereitgestellten Quellen beruhen, was ein RAG-Versagen darstellt; die Relevanz bewertet, ob die abgerufenen Chunks tatsächlich für die Anfrage relevant sind; die Vollständigkeit prüft, ob die Antwort alle Aspekte der Frage abdeckt; die Halluzinationsfreiheit stellt sicher, dass die Antwort keine nicht in den Quellen vorhandenen Informationen einführt; und die redaktionelle Qualität bewertet Klarheit, Prägnanz und Struktur der Antwort.

Das Framework verwendet eine Kombination aus automatischen Metriken und LLM-as-a-Judge-Bewertung. Zu den automatischen Metriken gehören die Kosinus-Ähnlichkeit zwischen Antwort und Quellen (für die Treue), der Recall benannter Entitäten (für die Vollständigkeit) und die korrekte Zitierrate (für die Nachvollziehbarkeit). Die LLM-Bewertung verwendet ein Jägermodell – typischerweise GPT-4o oder Claude – das die Anfrage, die abgerufenen Chunks und die generierte Antwort erhält und jede Achse anhand einer standardisierten Bewertungsmatrix mit textueller Begründung bewertet. Dieser Ansatz korreliert gut mit der menschlichen Bewertung (Spearman-Rangkorrelationskoeffizient > 0,85 in unseren Tests) und ist gleichzeitig automatisierbar und reproduzierbar. Jede Evaluierungskampagne erstellt einen detaillierten Bericht mit Punktzahlen pro Achse, Erfolgs- und Misserfolgsbeispielen sowie Verbesserungsempfehlungen.

Anwendungsfälle

Die konkreten Anwendungsfälle umfassen zwei Hauptbereiche, die unsere Empfehlungen strukturieren werden. Die Verarbeitung technischer Dokumente – Bedienungsanleitungen, Spezifikationen, API-Dokumentationen, Testberichte, Betriebsanweisungen – ist ein natürliches Anwendungsgebiet für RAG. Diese Dokumente sind in der Regel gut strukturiert, mit Überschriften, Abschnitten, Nummerierungen und Indizes, was sie besonders für hierarchisches Chunking geeignet macht. Technische Anfragen sind oft präzise und sachlich: Welches Anzugsdrehmoment wird für diese Schraube empfohlen? Welche Python-Version wird für dieses Modul benötigt? Die Retrieval-Genauigkeit ist kritisch, da eine falsche Information – eine falsche Spezifikation, ein falsch interpretierter Parameter – materielle oder finanzielle Folgen haben kann. Unsere Empfehlungen für diesen Bereich bevorzugen hierarchisches Chunking mit geringer Überlappung (50 Tokens), ein mehrsprachiges Embedding-Modell vom Typ BGE, ein Top-k von 8 bis 12 und Hybrid Search mit einem lexikalischen Gewicht von 0,4 für technische Begriffe.

Die Verarbeitung juristischer Dokumente – Verträge, Klauseln, Allgemeine Geschäftsbedingungen, Nachtragvereinbarungen, Gerichtsentscheidungen – stellt spezifische Anforderungen. Das juristische Vokabular ist präzise und normiert: Ein Begriff hat eine genaue rechtliche Bedeutung, die keine semantische Annäherung zulässt. Juristische Dokumente enthalten viele Verweise, Querverweise und Bezüge auf andere Artikel oder Verträge, was eine Navigationsfähigkeit zwischen den Chunks erfordert – ein Punkt, an dem sich hierarchisches Chunking mit einem Beziehungsgraphen zwischen Chunks als besonders nützlich erweist. Juristische Anfragen sind oft konditional: Was passiert, wenn der Kunde vor dem Jahrestag kündigt? Die Analyse der Bedingung erfordert das Auffinden mehrerer Klauseln, die möglicherweise auf verschiedene Artikel des Vertrags verteilt sind. Die Retrieval-Genauigkeit ist auch hier kritisch, aber die Fehlertoleranz ist noch geringer: Eine Fehlinterpretation einer Vertragsklausel kann schwerwiegende rechtliche und finanzielle Folgen haben. Für diesen Bereich empfehlen wir semantisches Chunking mit längeren Chunks (800 bis 1200 Tokens) zur Wahrung der Kohärenz rechtlicher Argumentationen, ein feinabgestimmtes juristisches Embedding-Modell (SaulLM oder LegalBERT) falls verfügbar, ein Top-k von 10 bis 15 zur Abdeckung zusammenhängender Klauseln und zwingend ein Re-Ranking mit einem Cross-Encoder-Modell.

Die Ergebnisse dieses Projekts liegen in Form eines Architekturempfehlungsleitfadens vor, der die Konfigurationen nach Korpusart, Geschäftsanforderungen (Präzision, Latenz, Kosten, Souveränität) und Dokumentenvolumen klassifiziert. Jede Empfehlung wird durch die quantifizierten Ergebnisse unserer Testkampagnen gestützt, mit den erwarteten Leistungsmetriken, Hardwarevoraussetzungen und den damit verbundenen Kompromissen. Der Leitfaden ist so konzipiert, dass er von einem technischen Team ohne Vorkenntnisse in RAG verwendet werden kann: Er enthält einsatzbereite Konfigurationen, Entscheidungsbäume für die Komponentenauswahl und Testverfahren zur Validierung jedes Pipeline-Schritts. Der Teststand selbst wird als Open-Source-Projekt ausgeliefert, sodass jede Organisation unsere Bewertungen auf ihren eigenen Korpora reproduzieren und ihre Architekturentscheidungen vor der Produktionseinführung validieren kann.

Perspektiven

Die Entwicklungsperspektiven des Projekts sind vielfältig. Die Bewertung agentischer Architekturen, die klassisches RAG um Planungs- und Werkzeugnutzungsfähigkeiten erweitern, ist ein vielversprechender Ansatz: Ein RAG-Agent, der iterativ entscheiden kann, welche Dokumente in welcher Reihenfolge zu konsultieren sind und wie Informationen zu kombinieren sind, kann komplexe Fragen bearbeiten, die über die Fähigkeiten eines Single-Pass-RAG hinausgehen. Die Integration von GraphRAG (Graph-Augmented Generation), das einen Wissensgraphen ergänzend zur Vektordatenbank für die Suche nutzt, eröffnet Perspektiven für stark vernetzte Korpora. Die Erweiterung auf andere Modalitäten – RAG auf Dokumente mit Bildern, Tabellen, Grafiken – ist ein aktiver Forschungsbereich. Schließlich bereitet die Untersuchung von konversationellem RAG, bei dem das System einen Dialogverlauf führt und die Suche an den kumulierten Kontext der Gespräche anpasst, die nächste Generation von KI-Dokumentensystemen vor.

Fazit

RAG ist keine statische Technologie, sondern ein aktives Forschungsfeld, dessen Architekturen sich schnell weiterentwickeln. Dieses Projekt trägt zur Strukturierung dieser Entwicklung bei, indem es rigoros dokumentiert, was funktioniert, in welchem Kontext und zu welchen Kosten. Die Architekturentscheidungen eines RAG-Systems – Chunking, Embedding, Retrieval, Generierung – sind voneinander abhängig und müssen ganzheitlich optimiert werden: Eine Verbesserung an einer Stelle kann durch eine Regression an einer anderen zunichte gemacht werden. Unser systematischer Ansatz, der strenge quantitative Bewertung mit konkreten Anwendungsfällen kombiniert, bietet technischen Teams die Schlüssel zur Konzeption leistungsfähiger, zuverlässiger und auf ihre geschäftlichen Anforderungen zugeschnittener RAG-Systeme. Die Beherrschung dieser Architekturen ist ein entscheidender Wettbewerbsvorteil für jede Organisation, die den Wert ihrer professionellen Wissensdatenbanken voll ausschöpfen möchte.