KI im Mittelstand: Warum KI Projekte scheitern

Die Lizenz ist gekauft, der Chatbot läuft, und die Geschäftsführung war von der Demo angetan. Ein halbes Jahr später nutzt ihn kaum noch jemand, und in der nächsten Runde heißt es, für KI im Mittelstand sei es wohl doch noch zu früh. So oder so ähnlich verlaufen viele KI-Projekte, und oft liegt das weniger am Modell als an einem unklaren Anwendungsfall, ungeeigneten Daten oder der fehlenden Einbindung in den Arbeitsalltag.

An Interesse fehlt es nicht: Laut Bitkom setzen inzwischen 57 Prozent der Unternehmen ab 20 Beschäftigten KI ein [1]. Fest in den Abläufen verankert ist sie deutlich seltener. Von 218 Mittelständlern, die techconsult für Cancom und ServiceNow befragt hat, nutzen 76 Prozent KI produktiv, umfassend in ihre Kernprozesse eingebunden haben sie aber nur 26 Prozent [2]. Die beiden Befragungen untersuchen unterschiedliche Unternehmensgruppen und sind nicht direkt vergleichbar. Ein punktueller Einsatz ist dabei nicht automatisch gescheitert. Zum Problem wird es, wenn ein Projekt mehr leisten sollte und auf halber Strecke stehen bleibt.

Woran liegt das? Unsere Antwort in zwei Sätzen: KI-Projekte im Mittelstand geraten häufig ins Stocken, wenn das Ziel unklar ist, die nötigen Daten auf mehrere Systeme verteilt sind, die Anwendung nicht zum Arbeitsablauf passt oder niemand den Betrieb verantwortet. Besser läuft es, wenn ein klar umrissener Ablauf mit den passenden Daten und einem messbaren Ziel den Anfang macht.

Was hinter der MIT-Studie mit den 95 Prozent steckt

Die Zahl, die seit Sommer 2025 durch fast jeden Vortrag zum Thema geht, stammt aus einem Bericht der MIT-Initiative NANDA. Danach ziehen 95 Prozent der untersuchten Organisationen aus ihren Pilotprojekten mit generativer KI keinen messbaren Ertrag [3]. Grundlage sind über 300 öffentlich bekannte KI-Projekte, Interviews mit 52 Organisationen und eine Befragung von 153 Führungskräften. Die Autoren bezeichnen ihre Ergebnisse selbst als vorläufig und als Richtungsangabe, eine repräsentative Untersuchung des deutschen Mittelstands ist das nicht. Als Schlagzeile taugt die Zahl, als Prognose für Ihr eigenes Projekt eher nicht.

Aufschlussreicher ist die Begründung. Am Modell, an der Regulierung oder an der Infrastruktur sehen die Autoren das Problem nicht, sondern darin, dass die Systeme nicht in die Arbeitsabläufe eingebunden sind, den Zusammenhang nicht kennen und nicht dazulernen. Ein Satz aus den Interviews trifft das Thema dieses Beitrags ziemlich genau: Wenn sich ein Werkzeug nicht an die vorhandenen Systeme anschließen lässt, wird es niemand benutzen.

Gartner kommt in zwei Prognosen zu einem ähnlichen Bild. 2024 sagten die Analysten voraus, dass mindestens 30 Prozent der Projekte mit generativer KI bis Ende 2025 nach dem Proof of Concept aufgegeben werden, unter anderem wegen schlechter Datenqualität und unklarem Nutzen [4]. 2025 folgte die Vorhersage, dass Unternehmen bis Ende 2026 60 Prozent der KI-Projekte abbrechen, denen keine KI-tauglichen Daten zugrunde liegen [5]. Gemessene Abbruchquoten sind das nicht, wohl aber ein deutlicher Hinweis darauf, wie wichtig geeignete Daten für ein KI-Projekt sind.

Datensilos: Warum die KI nur die Hälfte sieht

Damit sind wir beim eigentlichen Problem, und das ist in vielen Unternehmen älter als jedes KI-Projekt. Über die Jahre sind Systeme gewachsen, jedes aus einem guten Grund: das ERP für Aufträge, eine Excel-Liste für Produktdaten, ein Netzlaufwerk für Datenblätter, ein Ordner für Verträge und daneben alles, was nur in den Postfächern einzelner Kolleginnen und Kollegen steht. Jede dieser Insellösungen funktioniert für sich. Zusammen wissen sie eine Menge, nur kann sie niemand gemeinsam befragen.

Eine KI, die auf eine dieser Inseln gesetzt wird, erbt deren Grenzen. Ein ausgedachtes, aber typisches Beispiel aus dem Vertrieb: Gilt für Kunde Müller bei Artikel 4711 noch der Rabatt aus dem Rahmenvertrag, und ist das Datenblatt, das mit dem Angebot hinausgehen soll, die aktuelle Fassung? Die Antwort steckt in drei Systemen, nämlich in den Produktdaten, im Vertrag und in der letzten Abstimmung per E-Mail. Ein Chatbot, der nur das Netzlaufwerk kennt, sieht davon nur einen Teil. Ein gut gebautes System sagt dann, dass ihm Informationen fehlen. Ein schlecht gebautes antwortet trotzdem, und nach ein paar falschen Auskünften ist das Vertrauen der Kolleginnen und Kollegen dahin.

Ähnlich geht es, wenn jede Abteilung ihr eigenes KI-Werkzeug mit eigenem Datenbestand einführt: das Marketing eins für Produkttexte, der Einkauf eins für die Vertragsprüfung, der Kundenservice einen Chatbot. Abteilungsweise anzufangen ist dabei nicht das Problem. Schwierig wird es, wenn jedes Mal ein neuer, abgeschotteter Datenbestand entsteht, denn dann gibt es am Ende neue Datensilos, nur diesmal mit KI obendrauf.

Was das bedeutet, deutet die Bitkom-Umfrage an. Als großen Kostenpunkt nennen die KI-Anwender am häufigsten die Infrastruktur (51 Prozent), die Aufbereitung von Daten (50 Prozent) und die Integration in bestehende Systeme (41 Prozent). Lizenzen für KI-Software sind dagegen nur für 21 Prozent ein großer Posten [1]. Zwei der drei meistgenannten Kostenpunkte betreffen also nicht das Modell, sondern die Daten und ihre Anbindung.

Technisch gibt es dafür Lösungen. Bei RAG (Retrieval-Augmented Generation) sucht das System vor der Antwort passende Stellen in den angebundenen Wissensquellen und gibt sie dem Sprachmodell mit. Eine gute Umsetzung zeigt dabei an, aus welchem Dokument eine Aussage stammt, und berücksichtigt, was der jeweilige Nutzer sehen darf. Für Werte, die sich ständig ändern, etwa Bestände oder Preise, fragt man das führende System besser direkt ab. In beiden Fällen gilt: Die KI kann nur verwenden, was angebunden und gepflegt ist. Wer Datensilos auflösen will, muss deshalb zuerst wissen, wo die Daten für einen Ablauf liegen, und dann dafür sorgen, dass die KI an die nötigen und freigegebenen Quellen herankommt.

Vier weitere Gründe, an denen KI-Projekte scheitern

Ein Werkzeug sucht ein Problem

Am Anfang steht oft der Satz „Wir müssen jetzt auch etwas mit KI machen“. Daraus wird ein Projekt, das ein Werkzeug einführt, bevor jemand weiß, welchen Ablauf es eigentlich verbessern soll. Die RAND Corporation hat Datenwissenschaftler und Entwickler nach den Ursachen gescheiterter KI-Projekte befragt, allerdings mit Blick auf die Entwicklung eigener KI-Systeme. Als häufigste Ursache nannten sie, dass das zu lösende Problem falsch verstanden oder falsch vermittelt wurde [6]. Bei der Einführung eines fertigen Werkzeugs ist es kaum anders: Ohne klares Ziel lässt sich am Ende nicht sagen, ob es geholfen hat.

Schatten-KI füllt die Lücke

Schatten-KI, also KI-Dienste, die Beschäftigte ohne Freigabe des Unternehmens nutzen, füllt oft die Lücke, solange das offizielle Projekt noch in der Abstimmung steckt. Meist sind das ChatGPT und Co. mit privaten Konten. In der Bitkom-Befragung von 2025 gingen vier von zehn Unternehmen davon aus, dass bei ihnen private KI-Zugänge genutzt werden, einen offiziellen Zugang boten aber nur 26 Prozent [7]. In der Stichprobe der MIT-Studie war der Abstand noch größer: In über 90 Prozent der Unternehmen nutzten Beschäftigte regelmäßig KI, offizielle Abonnements hatten nur 40 Prozent [3]. Das zeigt zweierlei. Der Bedarf ist eindeutig da, und gleichzeitig entsteht das Risiko, dass vertrauliche Daten ohne abgestimmte Regeln in fremden Diensten landen.

Der Datenschutz wird zu spät gefragt

Viele Pilotprojekte starten mit einem Cloud-Dienst, weil das am schnellsten geht. Sollen später echte Kunden- oder Vertragsdaten hinein, kommt die Frage auf, wo diese Daten verarbeitet werden, und im ungünstigen Fall muss der Pilot noch einmal umgebaut werden. Unter den Unternehmen, die KI bereits einsetzen, nennen 66 Prozent die Anforderungen an den Datenschutz als Hemmnis, häufiger als jeden anderen Grund [1]. Deshalb lohnt es sich, die Betriebsart früh zu klären. Läuft die KI vollständig auf eigenen Servern und ohne Verbindungen nach außen, bleiben die verarbeiteten Inhalte im Haus. Bei Hosting in Deutschland gehören auch Unterauftragnehmer, Zugriffe und externe Schnittstellen auf den Prüfzettel, und wo ein Dienstleister personenbezogene Daten im Auftrag verarbeitet, braucht es einen Auftragsverarbeitungsvertrag. Externe Modelle sollten nur für Aufgaben zum Einsatz kommen, für die sie ausdrücklich freigegeben und rechtlich geprüft sind. Hostingort und Vertrag allein machen allerdings noch keine DSGVO-konforme KI: Zweck, Rechtsgrundlage, Berechtigungen und Datensparsamkeit muss jedes Projekt für sich klären.

Der Pilot hat keinen Besitzer

Ein verbreitetes Muster: Ein Proof of Concept wird von der IT oder einem externen Dienstleister gebaut, von ein paar Freiwilligen getestet und danach einer Fachabteilung übergeben, die nie danach gefragt hat. Fehlt jemand, der den Ablauf im Alltag verantwortet und beurteilen kann, ob die KI ihn schneller oder besser macht, verläuft der Pilot im Sand. Die MIT-Studie nennt die fehlende Passung zum Arbeitsalltag als einen der Hauptgründe, warum Piloten nicht in den Betrieb kommen [3]. Dazu kommt die Akzeptanz: Für 42 Prozent der KI-Anwender ist laut Bitkom die fehlende Akzeptanz der Beschäftigten ein Hemmnis [1]. Wer die späteren Nutzer schon im Pilot beteiligt, ihre Rückmeldungen auswertet, sie schult und vorher festlegt, wer den Betrieb übernimmt, beugt beidem vor.

KI-Einführung im Mittelstand: Was funktioniert

Unternehmen, bei denen KI im Alltag ankommt, machen selten etwas Spektakuläres. Sie gehen nur in einer anderen Reihenfolge vor, und die lässt sich in fünf Schritten beschreiben.

1. Mit einem Ablauf anfangen, nicht mit einem Werkzeug. Suchen Sie einen Vorgang, der heute regelmäßig Zeit kostet, etwa Kundenanfragen beantworten, Eingangsrechnungen prüfen oder Produkttexte pflegen, und schreiben Sie auf, wie er heute abläuft.
2. Die nötigen Datenquellen anbinden. Klären Sie, welche Informationen die KI für diesen Ablauf braucht, und binden Sie die passenden, freigegebenen Quellen an, nicht nur die bequemste. Wo Produktdaten, Dokumente und Aufgaben ohnehin in einer gemeinsamen Plattform liegen, erleichtert das die Anbindung deutlich. Datenqualität, Aktualität und Zugriffsrechte gehören trotzdem auf die Liste.
3. Den Proof of Concept messbar machen. Legen Sie vorher fest, woran Sie Erfolg erkennen: Minuten pro Vorgang, fachliche Richtigkeit, Nacharbeit und wie oft das Werkzeug tatsächlich genutzt wird. Halten Sie den Ausgangswert fest und setzen Sie einen Termin, an dem entschieden wird. Ein ausgedachtes Rechenbeispiel: Bei 200 Vorgängen im Monat und drei Minuten Ersparnis pro Vorgang kommen zehn Stunden Entlastung zusammen. Davon geht der zusätzliche Prüf- und Nacharbeitsaufwand ab. Was übrig bleibt, bewerten Sie mit einem passenden Stundensatz und stellen es den laufenden Kosten und dem Einführungsaufwand gegenüber. Ohne solche Zahlen endet ein Pilot gern mit dem Urteil „ganz interessant“.
4. Betriebsart und Datenschutz am Anfang klären. Welche Daten dürfen in welches Modell, wo läuft dieses Modell, und welche Daten fließen dabei wohin? Wer das früh klärt, verringert das Risiko, den Pilot später umbauen zu müssen.
5. Einen offiziellen Zugang schaffen und Verantwortung festlegen. Ein gutes offizielles Angebot, das die eigenen Daten kennt, nimmt der Schatten-KI viel von ihrem Reiz, vor allem zusammen mit klaren Regeln und einer kurzen Schulung. Und jemand aus der Fachabteilung sollte den Ablauf verantworten, nicht nur die IT.

Was wir selbst daraus gelernt haben

Wir kennen diese Probleme aus dem eigenen Betrieb. Die billerbeck Betten-Union stellt seit 1921 in Kraichtal Bettwaren her, mit Artikeldaten in vielen Sprachen, Datenblättern, Nachweisen und Verträgen. Weil passende Software fehlte, haben wir vor über zehn Jahren mit unserem IT-Dienstleister begonnen, selbst zu entwickeln: erst ein PIM-System und ein Dokumentenmanagementsystem, danach die KI. Heute liegen bei uns Produktdaten, Dokumente, Aufgaben und Unternehmenskennzahlen in einer gemeinsamen Arbeitsumgebung, darunter 20.000 Artikel in 15 Sprachen.

Wie das im Alltag aussieht, zeigt ein Agent, den wir „Material-Auskunft“ nennen. Fragt jemand im Haus nach dem Unterschied zwischen Kapok und Baumwolle, lädt der Agent zuerst in zwei Arbeitsschritten die passenden Unterlagen aus unserem Bestand und schreibt erst danach seine Antwort. Das Modell dahinter läuft lokal auf unserem eigenen Server, die Frage geht also an keinen Cloud-Anbieter. Die Antwort nennt die Unterlagen, auf die sie sich stützt, und findet die KI keine belastbare Grundlage, soll sie das sagen. Wer die Antwort weitergibt, kann sie deshalb an der Quelle nachprüfen, und bei allem, was nach außen geht, sollte er das auch tun.

Die Lehre daraus ist unspektakulär: Die Material-Auskunft ist nur so gut wie die Unterlagen, die sie findet. Gepflegte und erreichbare Unterlagen sind deshalb eine wichtige Voraussetzung, und zwar eine, die jedes Unternehmen selbst in der Hand hat. Wer heute anfängt, muss dafür keine eigene Plattform bauen. Aber es lohnt sich, erst den Ablauf und die nötigen Daten zu klären und dann die passende KI einzubinden.

Die ganze Geschichte steht in unserer Referenz billerbeck Betten-Union, mehr zum KI-Einsatz im Haus im Beitrag KI im eigenen Haus. Wie verbreitet KI inzwischen ist und was sie den Unternehmen bringt, haben wir in KI im Unternehmen: Was die Zahlen wirklich sagen zusammengetragen.

Wenn Sie gerade vor einem KI-Projekt stehen oder eines neu anstoßen wollen, schauen wir uns gern gemeinsam an, welcher Ablauf sich als Einstieg eignet und welche Daten dafür zusammenkommen müssen. Ein Erstgespräch dauert etwa 45 Minuten und kostet nichts.

---

Quellen

Alle Quellen zuletzt geprüft am 6. Oktober 2026.

1. Bitkom e. V. (14.09.2026): Erstmals nutzt die Mehrheit der Unternehmen KI. Telefonische Befragung von 603 Unternehmen ab 20 Beschäftigten, Juli und August 2026. Presseinformation auf bitkom.org
2. techconsult im Auftrag von Cancom und ServiceNow (2026): AI zwischen Vision und Umsetzung. Befragung von 218 mittelständischen Unternehmen; Angaben nach der Studienseite der Auftraggeber. Studienseite von Cancom und ServiceNow
3. Aditya Challapally, Chris Pease, Ramesh Raskar, Pradyumna Chari, MIT NANDA (Juli 2025): The GenAI Divide: State of AI in Business 2025, vorläufige Ergebnisse, S. 2 (Methodik), S. 3, 8 und 15. Bericht als PDF
4. Gartner (29.07.2024): Gartner Predicts 30% of Generative AI Projects Will Be Abandoned After Proof of Concept By End of 2025. Pressemitteilung auf gartner.com
5. Gartner (26.02.2025): Lack of AI-Ready Data Puts AI Projects at Risk. Pressemitteilung auf gartner.com
6. James Ryseff, Brandon De Bruhl, Sydne J. Newberry, RAND Corporation (2024): The Root Causes of Failure for Artificial Intelligence Projects and How They Can Succeed. Bericht auf rand.org
7. Bitkom e. V. (21.10.2025): Beschäftigte nutzen vermehrt Schatten-KI. Befragung von 604 Unternehmen ab 20 Beschäftigten. Presseinformation auf bitkom.org