Warum KI-Investitionen im Mittelstand versanden, und welche tragen

Der Ablauf ist in vielen Betrieben derselbe. Jemand testet ein Werkzeug, es wirkt überzeugend, ein Abonnement wird abgeschlossen. Ein halbes Jahr später kann es etwas nicht, das inzwischen gebraucht wird, oder ein anderes Produkt wirkt besser. Es wird nachgebessert oder gewechselt. Jede einzelne Entscheidung ist klein, plausibel und begründbar. In der Summe entsteht ein Posten, von dem niemand sagen kann, was er einbringt.

Dieser Beitrag sammelt, was sich dazu belegen lässt, und was nicht. Alle Zahlen stammen aus Primärquellen, die am Ende vollständig aufgeführt sind.

Das Hemmnis ist nicht das Geld

Die naheliegende Erklärung wäre, dass kleinere Betriebe sich KI schlicht nicht leisten können. Die amtliche Statistik sagt etwas anderes. In der IKT-Erhebung des Statistischen Bundesamts nennen Unternehmen mit 10 bis 49 Beschäftigten als Gründe gegen den KI-Einsatz:

• fehlendes Wissen: 73 Prozent
• Unklarheit über die rechtlichen Folgen: 64 Prozent
• Unverträglichkeit mit vorhandenen Geräten und Systemen: 46 Prozent
• Verfügbarkeit und Qualität der Daten: 44 Prozent

Zu hohe Kosten nennt nur rund ein Drittel. Geld ist also nicht das Nadelöhr. Die Hürde liegt davor: Es fehlt die Grundlage, auf der sich entscheiden ließe.

Dasselbe Bild zeigt das Zukunftspanel des Instituts der deutschen Wirtschaft. Dort ist das mit Abstand wichtigste Hemmnis der schwer einschätzbare Nutzen von KI, genannt von 63 Prozent aller Unternehmen. Aufgeschlüsselt nach Größe wird der Befund deutlicher:

• bis 49 Beschäftigte: 64 Prozent
• 50 bis 249 Beschäftigte: 51 Prozent
• ab 250 Beschäftigte: 36 Prozent

Je kleiner der Betrieb, desto schwerer die Einschätzung. Das ist kein Zufall. Größere Häuser haben Stellen, deren Aufgabe genau diese Bewertung ist. In einem Betrieb mit 40 Mitarbeitenden gibt es diese Stelle nicht.

Wo KI läuft, trägt sie oft nicht

Die Frage ist berechtigt, denn der Zweifel bestätigt sich in den Daten. Unter den Unternehmen, die KI bereits einsetzen, bewerten im IW-Zukunftspanel nur 48 Prozent das Verhältnis von Nutzen und Aufwand positiv. Bei 27 Prozent halten sich beide die Waage, bei 16 Prozent übersteigt der Aufwand den Nutzen. Bei 43 Prozent übersteigt der Nutzen die Kosten also nicht.

Auf größerer Ebene fällt das Urteil ähnlich aus. Eine Erhebung unter knapp 6.000 Führungskräften in vier Ländern, durchgeführt von Forschenden unter anderem der Bank of England und veröffentlicht als NBER Working Paper, kommt zu dem Ergebnis, dass 89 Prozent keinen messbaren Effekt von KI auf die Arbeitsproduktivität der vergangenen drei Jahre berichten.

In der CEO-Studie des IBM Institute for Business Value geben 2.000 Vorstandsvorsitzende an, dass 25 Prozent ihrer KI-Initiativen den erwarteten Ertrag geliefert haben und 16 Prozent unternehmensweit ausgerollt wurden. Deloitte zählt in der siebten Ausgabe seiner Unternehmensbefragung, dass nur ein Viertel der Unternehmen 40 Prozent oder mehr ihrer Pilotprojekte in den Regelbetrieb gebracht hat.

Eine Zahl, die Sie nicht verwenden sollten

An dieser Stelle zitieren viele Beiträge, 95 Prozent der KI-Pilotprojekte scheiterten. Die Zahl stammt aus dem Bericht "The GenAI Divide: State of AI in Business 2025" einer Forschungsgruppe am MIT. Wir haben die Primärquelle geprüft und verwenden die Zahl nicht. Die Gründe:

1. Sie sagt etwas anderes, als meist behauptet wird. Im Original heißt es, 95 Prozent der Organisationen erzielten keine Rendite, nicht 95 Prozent der Pilotprojekte.
2. Die Grundlage ist eine Gelegenheitsstichprobe: 153 Führungskräfte, angesprochen auf vier Branchenkonferenzen, dazu 52 Interviews. Keine Zufallsauswahl.
3. Der Bericht bezeichnet sich selbst als vorläufige Ergebnisse und ist nicht begutachtet.
4. Die Autoren halten ausdrücklich fest, dass die Ergebnisse nicht die Position ihrer Arbeitgeber wiedergeben. Es ist also keine Aussage des MIT als Institution.
5. Sie räumen selbst ein, dass ein Beobachtungszeitraum von sechs Monaten für komplexe Unternehmenssysteme zu kurz sein könnte.

Wer die Aussage belegen will, nimmt besser die oben genannten Zahlen. Sie sind breiter erhoben und ihre Methodik ist offengelegt.

Warum sich die Investition wiederholt

Drei Mechanismen erklären, warum aus einer einzelnen Anschaffung eine Kette wird.

Erstens wird gekauft, bevor bewertet wurde. In derselben IBM-Studie räumen 64 Prozent der Vorstandsvorsitzenden ein, in Technologien zu investieren, bevor sie deren Nutzen verstanden haben, aus Sorge, zurückzufallen. Eine Investition ohne Bewertungsmaßstab lässt sich später nicht als Erfolg oder Misserfolg einordnen. Sie wird fortgesetzt oder ersetzt, je nachdem, was gerade überzeugender wirkt.

Zweitens bindet die Technik stärker als erwartet. Eine vielzitierte Arbeit von Google-Forschenden, veröffentlicht auf der NeurIPS 2015, beschreibt, dass in einem ausgereiften System für maschinelles Lernen höchstens fünf Prozent des Codes auf das Modell selbst entfallen. Die übrigen mindestens 95 Prozent sind Verbindungscode. Die Autoren halten fest, dass dieser Code ein System auf die Eigenheiten eines bestimmten Pakets festlegt und damit das Ausprobieren von Alternativen unverhältnismäßig teuer macht. Der Wechsel, der auf dem Papier einfach aussieht, ist es in der Praxis nicht.

Drittens kommt der Ertrag später, als die Geduld reicht. Brynjolfsson, Rock und Syverson haben für Allzwecktechnologien die sogenannte Produktivitäts-J-Kurve beschrieben, veröffentlicht im American Economic Journal: Macroeconomics. Der Kern: Solche Technologien verlangen erhebliche ergänzende Investitionen, meist immaterielle, etwa in Prozesse, Daten und Qualifikation. Der messbare Ertrag fällt erst danach an. Wer vorher umschwenkt, weil sich noch nichts zeigt, vernichtet genau die Vorleistung, die den Ertrag erst ermöglicht hätte.

Die drei Mechanismen greifen ineinander: ohne Maßstab gekauft, stärker gebunden als gedacht, zu früh gewechselt.

Was die erfolgreichen Betriebe anders machen

Die Datenlage ist hier erfreulich klar, und sie weist nicht auf die Technik.

Entscheidend ist eine Strategie, nicht die Größe. KfW Research hat auf Basis des Mittelstandspanels mit gut 6.800 Unternehmen ein Probitmodell gerechnet. Ergebnis: Unternehmen mit einer Digitalisierungsstrategie setzen zu 35 Prozent KI ein, digital aktive ohne Strategie zu 26 Prozent, Unternehmen ohne Digitalisierungsaktivitäten zu 19 Prozent. Die Unternehmensgröße ist in diesem Modell nicht der ausschlaggebende Faktor. Im Digitalisierungsbericht Mittelstand hält die KfW zudem fest, dass die Masse der mittelständischen Unternehmen ihre Digitalisierung weniger systematisch als auf Ad-hoc-Basis angeht.

Weniger Anwendungsfälle, dafür tiefer. Die Boston Consulting Group hat über 1.800 Führungskräfte befragt. Die erfolgreichsten Unternehmen verfolgen im Schnitt 3,5 Anwendungsfälle, die übrigen 6,1. Sie erwarten die 2,1-fache Rendite und stecken über 80 Prozent ihrer KI-Mittel in den Umbau von Kernfunktionen statt in einzelne Produktivitätswerkzeuge.

Der Sprung liegt zwischen Pilot und Arbeitsweise. Das MIT Center for Information Systems Research hat 721 Unternehmen vier Reifestufen zugeordnet. Die oberen beiden liegen beim Umsatzwachstum 11,3 beziehungsweise 17,1 Prozentpunkte über dem Branchendurchschnitt, die unteren beiden liegen mit 3,5 und 12,6 Prozentpunkten darunter. Der Unterschied entsteht nicht durch mehr Werkzeuge, sondern dadurch, dass aus Versuchen verankerte Arbeitsweisen werden.

Punktueller Einsatz ist die Regel. Das Institut der deutschen Wirtschaft stellt fest, dass nur 2,2 Prozent der befragten Unternehmen, 23 von 1.038, KI in allen für sie relevanten Bereichen einsetzen oder das planen. Bitkom zählt im Durchschnitt zwei KI-Anwendungen je Betrieb. Das relativiert eine verbreitete Vorstellung: Der deutsche Mittelstand leidet in der Breite nicht an Werkzeug-Wildwuchs. Er leidet daran, dass die wenigen Anschaffungen ohne Grundlage getroffen werden.

Sechs Entscheidungen, die eine Investition tragfähig machen

Aus den Befunden lassen sich sechs Prüfungen ableiten. Jede einzelne ist oben belegt, die Reihenfolge ist unsere Einordnung aus der Beratungspraxis.

1. Bestand vor Beschaffung. Welche Systeme im Haus tragen bereits eine KI-Funktion, welche Lizenzen laufen, wer nutzt sie? Ohne diese Liste ist jede Investitionsentscheidung geraten. Dass es daran hakt, zeigt auch der Blick auf die Transparenz über den eigenen Technologiebestand: Nach einer Flexera-Befragung unter 506 IT-Fachleuten haben nur 43 Prozent vollständige Sicht darauf, im Vorjahr waren es 47 Prozent.

2. Nutzen vor Werkzeug. Was genau soll sich im Ablauf ändern, und woran würden Sie in sechs Monaten erkennen, dass es eingetreten ist? Wer diese Frage nicht beantworten kann, kauft ohne Maßstab, und das ist der Mechanismus hinter den 64 Prozent der IBM-Studie.

3. Prozess vor Produkt. Liegt der Nutzen im Werkzeug oder in der Prozessänderung darum herum? Nur Letztere bleibt Ihnen, wenn der Anbieter wechselt. Die BCG-Zahl zu den 80 Prozent in Kernfunktionen beschreibt denselben Gedanken.

4. Wechselkosten mitrechnen. Was kostet der Ausstieg, wenn der Anbieter die Preise erhöht oder den Dienst einstellt? Die Arbeit von Sculley und Kollegen zeigt, warum diese Kosten regelmäßig unterschätzt werden.

5. Datengrundlage vor Modell. Liegen die Daten in der nötigen Qualität vor, und gehören sie Ihnen? 44 Prozent der kleinen Betriebe nennen die Datenlage als Grund gegen KI, und dieser Punkt löst sich nicht durch die Wahl eines anderen Werkzeugs.

6. Zuständigkeit und Pflichten klären. Wer entscheidet, wer betreibt, wer antwortet bei einer Prüfung? 64 Prozent der kleinen Betriebe nennen Unklarheit über die rechtlichen Folgen als Hemmnis. Welche Pflichten der KI-Verordnung wann gelten, steht in unserem Beitrag zu den Fristen der KI-Verordnung; ob Sie dabei Anbieter oder Betreiber sind, klärt der Beitrag zu den Rollen der KI-Verordnung.

Was das für Ihren Betrieb heißt

Die Daten lassen sich zu einer einfachen Aussage verdichten. Der Rückstand entsteht nicht dadurch, dass zu wenig gekauft wird. Er entsteht dadurch, dass ohne Entscheidungsgrundlage gekauft wird, und dass deshalb nachgekauft werden muss.

Die Gegenmaßnahme ist unspektakulär: einmal den Bestand aufnehmen, einmal begründet entscheiden, welche wenigen Fälle tief verfolgt werden, und das Ergebnis so festhalten, dass es im Alltag gepflegt werden kann. Das ist weniger aufregend als das nächste Werkzeug, aber es ist der Unterschied zwischen den 48 Prozent, bei denen der Nutzen die Kosten übersteigt, und den 43 Prozent, bei denen das nicht der Fall ist.

Wie wir dabei vorgehen, steht auf unserer Startseite. Welche drei Entscheidungen eine KI-Strategie im Kern ausmachen, beschreibt der Beitrag KI-Strategie im Mittelstand.

Quellen

• Statistisches Bundesamt (Destatis), IKT-Erhebung 2025, Tabelle "Gründe gegen die Nutzung von Technologien der künstlichen Intelligenz", Datenstand 24. November 2025, nach Größenklassen.
• Institut der deutschen Wirtschaft Köln, Marc Scheufen, Barbara Engels, Edgar Schmitz, IW-Trends 2/2025, IW-Zukunftspanel Welle 49, 951 Unternehmen, Erhebung 16. Oktober bis 5. Dezember 2024. Angaben zum Kosten-Nutzen-Verhältnis beruhen auf 408 KI-nutzenden Unternehmen.
• Institut der deutschen Wirtschaft Köln, Barbara Engels, Marc Scheufen, Edgar Schmitz, IW-Report 2025, "KI als Wettbewerbsfaktor", 1.038 Unternehmen.
• KfW Research, Volker Zimmermann, Fokus Volkswirtschaft Nr. 533 vom 11. Februar 2026, Probitmodell auf der 23. Welle des KfW-Mittelstandspanels, gut 6.800 Unternehmen.
• KfW Research, Volker Zimmermann, KfW-Digitalisierungsbericht Mittelstand 2025.
• Yotzov, Barrero, Bloom, Bunn, Davis, Foster, Jalca, Meyer, Mizen, Navarrete, Smietanka, Thwaite, NBER Working Paper 34836, März 2026, Feldzeit November 2025 bis Januar 2026, knapp 6.000 Führungskräfte in vier Ländern.
• IBM Institute for Business Value, CEO Study 2025, mit Oxford Economics, 2.000 CEOs aus 33 Ländern und 24 Branchen, Feldzeit Februar bis April 2025.
• Deloitte, State of AI in the Enterprise, siebte Ausgabe, 2026, 3.235 Führungskräfte, Feldzeit August bis September 2025.
• Boston Consulting Group, AI Radar 2025, "From Potential to Profit: Closing the AI Impact Gap", über 1.800 Führungskräfte.
• MIT Center for Information Systems Research, Weill, Woerner, Sebastian, "Building Enterprise AI Maturity", Dezember 2024, 721 Unternehmen.
• D. Sculley u. a., "Hidden Technical Debt in Machine Learning Systems", Advances in Neural Information Processing Systems 28, NeurIPS 2015.
• Erik Brynjolfsson, Daniel Rock, Chad Syverson, "The Productivity J-Curve: How Intangibles Complement General Purpose Technologies", American Economic Journal: Macroeconomics, Januar 2021.
• Bitkom e. V., Studienbericht "Künstliche Intelligenz in Deutschland", veröffentlicht 2026, Erhebung 2025.
• Flexera, 2025 State of ITAM Report, 506 IT-Fachleute.
• Nicht verwendet, mit Begründung im Text: Challapally, Pease, Raskar, Chari, "The GenAI Divide: State of AI in Business 2025", MIT NANDA, Juli 2025.

Dieser Beitrag ist eine fachliche Einordnung und keine Rechtsberatung im Sinne des RDG.