B2Shift · Veröffentlicht 27. August 2026 · Aktualisiert 27. August 2026
Retrieval-Augmented Generation (RAG) ermöglicht es einem System, anhand Ihrer Dokumente statt aus den allgemeinen Trainingsdaten eines Modells zu antworten, mit einer Rückverweisung auf die Quelle. Die Idee ist einfach; In der Praxis sind die Kostenunterschiede auf eine kleine Anzahl frühzeitig getroffener Entscheidungen zurückzuführen.
Was eine RAG-Pipeline tatsächlich tut
Dokumente werden in Blöcke aufgeteilt, in Vektoreinbettungen umgewandelt und in einer Vektordatenbank gespeichert. Eine Frage wird auf die gleiche Weise eingebettet, die am besten passenden Blöcke werden abgerufen und das Modell antwortet nur mit diesen Blöcken als Kontext – mit einem Zitat zurück zum Quelldokument. Entfernen Sie den Zitierschritt und Sie haben ein System, das niemand überprüfen kann, wenn es falsch ist.
Was die Kosten mehr bestimmt als die Modellauswahl
Vier Dinge verändern die Zahl stärker als das von Ihnen gewählte Sprachmodell. Dokumentvolumen und -format: Gescannte PDFs benötigen OCR, bevor sie in Blöcke aufgeteilt werden können, und OCR-Fehler breiten sich in jeder nachgelagerten Antwort aus. Chunking-Strategie: Naives Chunking mit fester Länge ist kostengünstig zu erstellen und bei strukturierten Dokumenten wie Verträgen oder Tabellen häufig falsch. Abrufqualität: Eine Vektordatenbank verfügt über echte Infrastruktur und Abfragekosten in großem Maßstab, die optimiert werden müssen, nicht nur eine Installation. Und Bewertung: Ohne einen Testsatz mit echten Fragen und bekanntermaßen richtigen Antworten können Sie nicht sagen, ob das System korrekt ist – Sie können nur feststellen, ob es sicher klingt, was etwas völlig anderes ist.
Wo die Genauigkeit tatsächlich bricht
Quelldokumente von schlechter Qualität sind der häufigste Fehler, nicht Modellbeschränkungen – ein RAG-System kann nicht korrekt auf ein Dokument antworten, das selbst falsch oder mehrdeutig ist. Tabellen, eingescannte Handschriften und mehrspaltige Layouts bedürfen einer besonderen Handhabung; naive Extraktion lässt sie stillschweigend fallen oder verwirrt sie. Und der berechtigungsbasierte Abruf ist ebenso wichtig wie die Genauigkeit: Ein System, das ein Dokument abrufen kann, das ein Benutzer nicht sehen sollte, ist ein Sicherheitsfehler, kein Genauigkeitsfehler.
Was ein realistischer Build beinhaltet
Eine Produktions-RAG-Pipeline benötigt einen definierten Konfidenzschwellenwert, unterhalb dessen das System sagt „Ich habe keine verlässliche Antwort“, anstatt zu raten, eine Überprüfungswarteschlange für Fälle mit geringer Konfidenz und einen Genauigkeitsbericht, der anhand Ihres eigenen Testsatzes gemessen wird – kein allgemeiner Benchmark, da Ihre Dokumente nicht die Dokumente des Benchmarks sind. Sehen Sie sich Document Automation & RAG an, um zu erfahren, wie wir dies umsetzen.