KI-Strategie im Mittelstand: Vom Anwendungsfall zur Umsetzung

Viele mittelständische Unternehmen haben inzwischen KI im Haus, aber keine Strategie dazu: Einzelne Mitarbeitende nutzen Textassistenten, irgendwo läuft ein Pilotprojekt, und die eingekaufte Software bringt still KI-Funktionen mit. Das Ergebnis ist selten gefährlich, aber fast immer unproduktiv: Es fehlt der Blick dafür, wo KI wirklich Nutzen stiftet, und die Klarheit, unter welchen Regeln sie eingesetzt wird.

Eine KI-Strategie muss dafür kein Konzernprogramm sein. Für einen mittelständischen Betrieb sind es drei Entscheidungen, die bisher niemand getroffen hat: Welche KI bleibt. Welche dazukommt. Und unter welchen Regeln.

Erste Entscheidung: welche KI bleibt

Der Anfang ist deshalb keine Ideensammlung, sondern eine Bestandsaufnahme. In fast jedem Unternehmen laufen mehr KI-Funktionen als der Geschäftsführung bekannt ist, und die meisten davon kamen nicht als KI-Projekt ins Haus, sondern als Funktion in einer Software, die man ohnehin gekauft hat: die Vorsortierung im Bewerbermanagement, die Textvorschläge im CRM, die Erstauskunft im Kundenservice-Chat.

Diese Systeme zu kennen ist zweifach nötig. Wirtschaftlich, weil darunter Abonnements sind, die niemand nutzt, und Funktionen, die niemand kennt. Und rechtlich, weil die Pflichten aus der KI-Verordnung an den eingesetzten Systemen hängen und nicht an der Frage, ob man sie bewusst eingeführt hat. Die Pflicht zur KI-Kompetenz nach Art. 4 der Verordnung (EU) 2024/1689 gilt seit dem 2. Februar 2025, der Geltungsbeginn folgt aus deren Art. 113, und sie gilt unabhängig von Größe und Branche. Wer hier anfängt, hat am Ende eine Liste, die beide Fragen beantwortet. Welche Rolle Ihr Unternehmen je System einnimmt, klärt der Beitrag Anbieter oder Betreiber nach der KI-Verordnung.

Zweite Entscheidung: welche dazukommt

Hier gilt: beim Prozess anfangen, nicht beim Werkzeug. Der häufigste Fehler ist die Tool-zuerst-Entscheidung: Es wird ein KI-Produkt eingekauft und dann nach Verwendung gesucht. Tragfähiger ist der umgekehrte Weg: die eigenen Prozesse durchgehen und fragen, wo wiederkehrende, zeitfressende Arbeit mit Text, Dokumenten oder Daten anfällt. Angebotserstellung, E-Mail-Bearbeitung, Rechnungsprüfung, Berichtswesen: Das sind die Orte, an denen KI im Mittelstand typischerweise Nutzen stiftet, nicht die spektakulären Sonderfälle.

Aus dieser Bestandsaufnahme entsteht eine Liste möglicher Anwendungsfälle. Sie ist der Rohstoff der Strategie, und sie ist bei fast jedem Unternehmen länger, als das Management erwartet.

Priorisieren nach Nutzen, Aufwand und Risiko

Nicht jeder Anwendungsfall verdient ein Projekt. Bewährt hat sich die Bewertung entlang dreier Achsen:

• Nutzen: Wie viel Zeit oder Geld spart der Fall realistisch, wie oft tritt er auf?
• Aufwand: Reicht ein vorhandenes Werkzeug, oder braucht es Integration und Anpassung?
• Risiko: Fließen personenbezogene oder sensible Daten? Berührt der Fall Entscheidungen über Menschen, etwa im Personalbereich? Dann steigen die Anforderungen aus DSGVO und KI-Verordnung deutlich.

Die ersten Projekte sollten hohen Nutzen mit niedrigem Risiko verbinden. Wer mit dem heikelsten Prozess startet, verbrennt Vertrauen, bevor der Nutzen sichtbar wird. Der Fall mit dem höchsten Nutzen ist deshalb selten der, mit dem man anfängt.

Die Infrastrukturfrage ehrlich rechnen

Zur Strategie gehört die Entscheidung, wo die KI läuft: Cloud-Dienste, lokale Modelle oder ein hybrider Mix. Die Antwort ist eine Rechenaufgabe, keine Glaubensfrage: Für die meisten kleinen und mittleren Unternehmen ist die Cloud der wirtschaftliche Standard, lokale Hardware lohnt sich erst bei hoher, gleichmäßiger Auslastung oder bei besonders sensiblen Daten. Die Abwägung im Detail: Lokale KI oder Cloud: Wann sich eigene Hardware rechnet.

Dritte Entscheidung: unter welchen Regeln

Eine KI-Strategie, die Datenschutz und KI-Verordnung ausklammert, produziert Altlasten. Die gute Nachricht: Wer die Prüfung in die Einführung einbaut, erledigt sie einmal statt doppelt.

Drei Punkte entscheiden dabei über den Aufwand. Erstens die Transparenz: wo KI gegenüber Kunden auftritt, greifen die Pflichten aus Art. 50 der Verordnung (EU) 2024/1689, anwendbar seit dem 2. August 2026. Ein Chatbot muss als KI erkennbar sein, KI-generierte Inhalte sind zu kennzeichnen. Zweitens die Risikoklasse: berührt ein Anwendungsfall Entscheidungen über Menschen, etwa in der Personalauswahl, fällt er unter Anhang III der Verordnung und damit in eine deutlich höhere Anforderungsstufe. Drittens die Rolle: ob Sie Anbieter oder Betreiber sind, entscheidet je System darüber, welche Pflichten überhaupt greifen.

Genau deshalb gehört die Regulierungsfrage in die Priorisierung und nicht hinterher. Ein Anwendungsfall mit hohem Nutzen kann der schlechteste erste sein, wenn er zugleich der regulatorisch schwerste ist. Wer dort beginnt, verbrennt Vertrauen im eigenen Haus, bevor der Nutzen sichtbar wird. Konkret gehören in jedes KI-Projekt: die Anbieterprüfung mit Auftragsverarbeitung und EU-Datenresidenz (DSGVO-konforme KI-Automatisierung), die Rollenklärung nach der KI-Verordnung (Anbieter oder Betreiber) und Maßnahmen zur KI-Kompetenz der Mitarbeitenden, zu denen Art. 4 ohnehin verpflichtet (KI-Kompetenz nach Art. 4).

Über den Erfolg entscheidet am Ende die Einführung. Die meisten KI-Projekte scheitern nicht an der Technik, sondern daran: Das Werkzeug ist da, aber niemand nutzt es, oder alle nutzen es anders. Deshalb gehören zur Umsetzung klare Zuständigkeiten, kurze praxisnahe Schulungen am echten Anwendungsfall und eine Anlaufstelle für Fragen. Und ein Erfolgsmaßstab, der vorher feststeht: Was soll nach drei Monaten messbar anders sein?

Wer entscheidet und wer die Grundlage liefert

Eine Erwartung lohnt sich klarzustellen: die drei Entscheidungen trifft die Geschäftsführung, nicht die Beratung. Wer weiß, welche Prozesse im Haus wirklich klemmen und welches Risiko tragbar ist, sitzt im Unternehmen. Was von außen kommt, ist die Grundlage für diese Entscheidungen: der dokumentierte Bestand, die Pflichtenlage je System, die Bewertung nach Nutzen und Aufwand und eine begründete Reihenfolge. Das ist besonders in Betrieben ohne eigene IT-Abteilung der Unterschied, denn dort fehlt nicht die Entscheidungsfähigkeit, sondern die Zeit, sich die Grundlage selbst zu erarbeiten.

Der pragmatische Fahrplan dafür hat fünf Schritte:

1. Bestand aufnehmen: welche KI-Systeme schon laufen, auch die in eingekaufter Software
2. Anwendungsfälle sammeln aus den eigenen Prozessen, nicht aus Produktkatalogen
3. Bewerten nach Nutzen, Aufwand und Risiko, die ersten zwei bis drei Fälle auswählen
4. Infrastruktur und Anbieter entscheiden, Prüfung nach DSGVO und KI-Verordnung eingebaut
5. Klein einführen, schulen, messen, dann ausweiten

Die Schritte eins bis drei übernehmen wir als Analyse: Sie erhalten ein dokumentiertes Inventar Ihrer KI-Systeme, die Rolleneinordnung je System und einen priorisierten Maßnahmenplan. Danach begleiten wir die Umsetzung bis zur Einführung im Team.

Wenn Sie wissen wollen, wo KI in Ihrem Unternehmen Nutzen stiftet und wo nicht: In einem kostenlosen Erstgespräch geben wir Ihnen eine ehrliche erste Einschätzung.

Fundstellen

• Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 4: KI-Kompetenz
• Verordnung (EU) 2024/1689, Art. 50: Transparenzpflichten
• Verordnung (EU) 2024/1689, Anhang III: Hochrisiko-Bereiche
• Verordnung (EU) 2024/1689, Art. 113: Geltungsbeginn der einzelnen Pflichten
• Verordnung (EU) 2026/1744 (Digital-Omnibus), ABl. L vom 24. Juli 2026, in Kraft seit 27. Juli 2026: Verschiebung der Hochrisiko-Stichtage