Wie aus Ihrem Firmenwissen ein Assistent wird

Das meiste, was ein Unternehmen wissen muss, weiß es längst. Es steht in Angeboten, Handbüchern und Projektberichten, es liegt in E-Mail-Verläufen und in den Köpfen erfahrener Kolleginnen und Kollegen. Selten ist das Problem, dass dieses Wissen fehlt. Das Problem ist, es im richtigen Moment wiederzufinden.

Wie teuer das Suchen ist, hat das McKinsey Global Institute schon 2012 vorgerechnet: Wissensarbeiter verbringen knapp 20 Prozent ihrer Arbeitswoche damit, interne Informationen zu suchen oder die richtigen Ansprechpartner ausfindig zu machen, also annähernd einen Arbeitstag pro Woche [1]. Eine internationale Befragung von ABBYY unter mehr als 5.000 Büroangestellten in größeren Unternehmen zeichnet ein ähnliches Bild: 92 Prozent verbringen bis zu acht Stunden pro Woche damit, Daten in Dokumenten zu finden, zu verstehen und zu verarbeiten, und rund ein Viertel benötigt dafür fünf bis acht Stunden [2]. Das ist keine Frage der Sorgfalt, sondern der Ablage, denn die Daten liegen in zu vielen Systemen und in zu vielen Formaten.

Genau hier wird eine KI-Technik interessant, die den etwas spröden Namen RAG trägt.

Ein Kollege, der erst nachschaut und dann antwortet

RAG steht für Retrieval-Augmented Generation. Das klingt sperrig, beschreibt im Kern aber eine einfache Idee. Ein reines Sprachmodell ohne angebundene Unternehmensquellen antwortet aus den Mustern und Informationen, die es während des Trainings gelernt hat. Es ist ein brillanter Generalist, der Ihre Preisliste von letzter Woche jedoch nicht kennt und im Zweifel etwas Plausibles formuliert. Ein RAG-System geht anders vor: Bevor es antwortet, durchsucht es Ihre eigenen Dokumente, findet die passenden Stellen und formuliert seine Antwort auf dieser Grundlage.

Der Vergleich, der es am besten trifft, ist der mit einem Kollegen. Ein reines Sprachmodell ist der Kollege, der alles aus dem Gedächtnis beantwortet. Ein RAG-System ist der Kollege, der kurz in den Akten nachschlägt, bevor er etwas sagt, und Ihnen die Fundstelle gleich mitliefert.

Neu ist die Idee übrigens nicht. Ein Forschungsteam um Patrick Lewis, damals bei Facebook AI Research und heute Meta AI, hat sie 2020 gemeinsam mit Fachleuten der New York University und des University College London beschrieben und gezeigt, dass RAG bei wissensintensiven Aufgaben faktentreuere Antworten erzeugen kann als ein vergleichbares Sprachmodell ohne externe Wissensquelle [3]. Seither hat sich der Ansatz zu einem der verbreitetsten Bauprinzipien für Unternehmensanwendungen entwickelt. In einer Befragung von 600 US-amerikanischen IT-Entscheidern nutzten 2024 bereits 51 Prozent der Unternehmen RAG in produktiven Anwendungen, während Fine-Tuning, also das aufwendige Nachtrainieren eines Modells, nur bei 9 Prozent zum Einsatz kam [4].

Warum nicht einfach ChatGPT?

Die naheliegende Frage lautet, warum man den Aufwand betreiben sollte, wo es doch fertige Chatbots gibt. Drei Gründe sprechen für den RAG-Weg, und alle drei wiegen im Mittelstand schwer.

Erstens bleibt Ihr Unternehmenswissen vom Sprachmodell getrennt. Die Dokumente werden nicht dauerhaft in das Modell eintrainiert, sondern bei einer Anfrage durchsucht und in den relevanten Ausschnitten für die Antwort bereitgestellt [5]. Ob sensible Informationen dabei Ihre Infrastruktur verlassen, hängt allerdings von der gewählten Architektur ab, denn bei einem extern betriebenen Modell werden die gefundenen Textstellen über eine Schnittstelle an den Anbieter übertragen. Mit lokal betriebenen Modellen oder einer entsprechend abgesicherten Cloud-Umgebung lässt sich eine hohe Datenhoheit erreichen. Ein Selbstläufer ist das nicht, und DSGVO- oder AI-Act-Konformität garantiert RAG von sich aus ebenso wenig. Beides hängt an Hosting, Verträgen, Berechtigungen und Protokollierung.

Zweitens lassen sich die Antworten belegen. Ein gut konfiguriertes RAG-System zeigt die Fundstellen an, aus denen es seine Antwort zieht, sodass Mitarbeitende jederzeit nachprüfen können, ob die Auskunft stimmt. Aus einer bloßen Behauptung wird eine Behauptung mit Fußnote.

Drittens bleibt das Wissen aktuell, ohne dass ein Modell neu trainiert werden müsste. Ändert sich eine Preisliste oder eine Arbeitsanweisung, ersetzen Sie das Dokument in der Wissensbasis und aktualisieren den Suchindex. Danach entstehen neue Antworten auf dem neuen Stand. Ein fest trainiertes Modell müsste dafür jedes Mal erneut angepasst oder nachtrainiert werden.

Wo es sich lohnt

Am schnellsten zahlt sich ein RAG-System dort aus, wo Menschen sonst lange suchen. Im internen Wissensmanagement etwa, wenn neue Mitarbeitende sich einarbeiten und Antworten auf ihre Fragen bekommen, ohne jedes Mal eine erfahrene Kollegin unterbrechen zu müssen. Im Kundenservice, wo sich Anfragen mit Blick auf echte Handbücher und frühere Fälle beantworten lassen. Oder in der Angebotserstellung, wo frühere Angebote, Spezifikationen und Preise an einer Stelle zusammenfließen. Eine Forschungsgruppe der TU Dresden hat einen RAG-Ansatz eigens zur Bewahrung und Nutzung von Erfahrungswissen in kleinen und mittleren Unternehmen entwickelt und dabei bewusst auf lokal ausgeführte Sprachmodelle gesetzt. Angesichts der demografischen Lage ist das ein Thema, das viele Betriebe umtreibt [6].

Kein Selbstläufer, aber ein lohnender Weg

Zur Ehrlichkeit gehört die andere Seite. Viele KI-Projekte schaffen den Sprung vom Pilotversuch in den produktiven Alltag nicht. Gartner zufolge wurde bis Ende 2025 mindestens die Hälfte der GenAI-Projekte nach dem Proof of Concept aufgegeben, und als häufige Ursachen nennt das Marktforschungsunternehmen schlechte Datenqualität, unzureichende Risikokontrollen, steigende Kosten und einen unklaren geschäftlichen Nutzen [7]. Diese Zahl bezieht sich auf generative KI insgesamt und nicht allein auf RAG-Systeme. Bemerkenswert ist aber, dass Gartner gerade die mangelhafte Datenqualität als einen der zentralen Gründe für das Scheitern vieler GenAI-Projekte nennt. Für RAG-Systeme wiegt dieser Punkt besonders schwer, weil ihre Antwortqualität direkt von der Qualität und Struktur der zugrunde liegenden Wissensbasis abhängt.

Das klingt ernüchternd, ist im Kern jedoch eine gute Nachricht, denn es bedeutet, dass der Erfolg in Ihrer Hand liegt und nicht vom Zufall abhängt. Wer seine wichtigsten Dokumente ordnet, klein anfängt und zuerst ein klar umrissenes Thema angeht, kommt zuverlässig ans Ziel. Genau so sind wir bei Billerbeck an unsere eigene Lösung herangegangen, und wie das gelaufen ist, erzählen wir Ihnen im nächsten Beitrag. Wenn Sie vorher wissen möchten, ob sich der Ansatz für Ihr Unternehmen eignet, sprechen Sie uns gern an.

---

Quellen

1. McKinsey Global Institute (2012): The Social Economy: Unlocking Value and Productivity through Social Technologies. Der Bericht nennt knapp 20 Prozent der Arbeitswoche für die Suche nach internen Informationen und Ansprechpartnern. mckinsey.com
2. ABBYY / Sapio Research (2021): The Impact of Document Challenges, No-Code, and AI Skills in the Enterprise. Befragung von 5.025 Büroangestellten in Organisationen ab 500 Mitarbeitenden in den USA, Großbritannien, Frankreich, Deutschland und Japan. abbyy.com
3. Lewis, P. et al. (2020): Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS 2020, arXiv:2005.11401. arxiv.org
4. Menlo Ventures (November 2024): 2024: The State of Generative AI in the Enterprise. Befragung von 600 US-IT-Entscheidern in Unternehmen ab 50 Beschäftigten. menlovc.com
5. Bundesverband Digitale Wirtschaft (BVDW), Ressort KI (November 2025): Retrieval-Augmented Generation (RAG): Kontext ist König. bvdw.org
6. Schmauder, M.; Ott, G.; Schönwälder, E.; Hahmann, M. (2025): Aufbau eines Retrieval-Augmented-Generation-Systems zur Wissensbewahrung in KMU, wt Werkstattstechnik online, Bd. 115, Nr. 6, S. 389. DOI: 10.37544/1436-4980-2025-06-23. elibrary.vdi-verlag.de
7. Gartner, Arun Chandrasekaran (26.01.2026): Why 50% of GenAI Projects Fail. And How to Beat the Odds. gartner.com

Stand der Quellenprüfung: Juli 2026. Die zugrunde liegenden Studien stammen aus den Jahren 2012 bis 2026.