RAG (Retrieval-Augmented Generation)

Ein Sprachmodell weiß nichts über Ihr Unternehmen. Es kennt weder Ihre Verträge noch Ihre Handbücher, und wenn man es trotzdem fragt, erfindet es eine plausibel klingende Antwort. Retrieval-Augmented Generation löst das, indem sie den Ablauf umdreht: Zuerst wird in Ihren Dokumenten nach den Stellen gesucht, die zur Frage passen, und erst dann bekommt das Modell diese Stellen zusammen mit der Frage vorgelegt.

Der entscheidende Nebeneffekt ist die Belegbarkeit. Weil feststeht, welche Textstellen in die Antwort geflossen sind, kann jede Aussage mit einer Quelle ausgeliefert werden. Für regulierte Umgebungen ist das kein Komfortmerkmal, sondern die Bedingung, unter der die Ausgabe überhaupt verwendet werden darf - eine Zusammenfassung, die niemand gegen die Akte prüfen kann, ist keine Entscheidungsgrundlage.

RAG wird oft gegen Fine-Tuning abgewogen, obwohl die beiden verschiedene Probleme lösen. Fine-Tuning ändert, wie ein Modell antwortet - Ton, Format, Fachsprache. RAG ändert, worüber es antworten kann. Wenn sich Ihr Wissen wöchentlich ändert, ist RAG die richtige Wahl, weil ein neues Dokument sofort wirkt, statt ein neues Training auszulösen.

In der Praxis scheitern RAG-Systeme selten am Modell und fast immer am Suchschritt davor. Wenn die falschen Textstellen gefunden werden, hilft das beste Modell nichts - es formuliert die falsche Grundlage nur überzeugender. Der Aufwand liegt deshalb dort: wie Dokumente zerlegt werden, wie die Suche mit Fachbegriffen und Abkürzungen umgeht, und was passiert, wenn zur Frage schlicht nichts vorliegt. Ein System, das dann "keine Grundlage gefunden" sagt, ist mehr wert als eines, das rät.