Eigene KI-Hardware rechnet sich in kleinen Unternehmen selten

Viele kleine und mittlere Unternehmen (KMU) stellen sich derzeit dieselbe Frage: Sollen wir KI-Modelle auf eigener Hardware betreiben, oder nutzen wir Cloud-Dienste? Die Verlockung der lokalen Lösung ist verständlich: Die Daten verlassen das eigene Haus nicht, und statt laufender Gebühren steht einmal Hardware in der Ecke. Die ehrliche Antwort vorweg: Für die meisten kleinen Unternehmen rechnet sich der eigene Betrieb nicht. Aber es gibt klar benennbare Ausnahmen, und genau um diese Abgrenzung geht es in diesem Beitrag.

Die Kostenrechnung greift meistens zu kurz

Gemeint ist der Betrieb offener Sprachmodelle (etwa aus den Familien Llama, Qwen oder Mistral) auf eigener Hardware, vom Arbeitsplatzrechner mit starker Grafikkarte bis zum eigenen GPU-Server. Die Alternative sind Cloud-Dienste: fertige Assistenten oder Programmierschnittstellen großer Anbieter, abgerechnet nach Nutzung oder pro Arbeitsplatz.

Die Kostenrechnung greift dabei meistens zu kurz. Der häufigste Denkfehler: Es wird der Kaufpreis der Hardware gegen die monatliche Cloud-Rechnung gestellt. Die tatsächlichen Betriebskosten eines lokalen Setups liegen jedoch beim Drei- bis Fünffachen des reinen Hardware-Preises, wenn man ehrlich rechnet:

• Anschaffung: Ein ernsthaftes Setup beginnt bei einigen tausend Euro; gebrauchte Rechenzentrums-GPUs liegen je nach Modell bei 4.000 bis 9.000 Euro.
• Strom und Kühlung: Bei GPU-Systemen ein erheblicher laufender Posten, kein Rundungsfehler.
• Betrieb und Wartung: Updates, Modellpflege, Ausfälle. Als konservatives Minimum sind 5 bis 10 Stunden qualifizierter Arbeitszeit pro Monat anzusetzen, die jemand im Unternehmen haben und können muss.
• Stillstand: Die Hardware kostet auch nachts und am Wochenende, wenn niemand sie nutzt.

Daraus folgt die entscheidende Faustregel: Unter etwa einem Drittel Dauerauslastung rechnet sich eigene Hardware selten. Wirtschaftlich attraktiv wird der Eigenbetrieb erst bei sehr hohem, gleichmäßigem Nutzungsvolumen. Ein Team von zehn Personen, das KI als Assistenz im Arbeitsalltag nutzt, liegt davon weit entfernt; die Cloud ist in diesem Szenario um ein Vielfaches günstiger.

Der Datenschutz-Blick: differenzierter, als er oft dargestellt wird

Das stärkste Argument für lokale KI ist nicht der Preis, sondern die Kontrolle: Was auf eigener Hardware läuft, verlässt das Netzwerk technisch nicht. Für besonders sensible Daten, etwa im Gesundheitsbereich oder bei Finanzdaten, kann das den Ausschlag geben.

Daraus folgt aber nicht, dass Cloud-KI datenschutzwidrig wäre. Seriöse Anbieter verarbeiten Eingaben standardmäßig nicht zum Training und bieten Verträge zur Auftragsverarbeitung. Die praktisch wichtigere Trennlinie verläuft bei der Frage, wo die Daten verarbeitet werden: EU-Datenresidenz und der Schutz vor Drittland-Zugriffen sind die Punkte, die im Einzelfall zu prüfen sind. DSGVO-konforme Automatisierung ist mit Cloud-Diensten möglich, sie erfordert aber eine bewusste Anbieter- und Vertragsauswahl statt des erstbesten Tools.

Und eine Klarstellung aus unserer Beratungspraxis: Die Pflichten aus der KI-Verordnung gelten unabhängig davon, wo das Modell läuft. Wer KI einsetzt, ist Betreiber im Sinne der Verordnung, ob lokal oder in der Cloud; die Rollenklärung und die KI-Kompetenz nach Art. 4 bleiben in beiden Fällen Thema. Lokal zu arbeiten ersetzt keine Compliance.

Wann lokal sinnvoll ist und wann nicht

Lokale KI ist eine ernsthafte Option, wenn mehrere dieser Punkte zutreffen:

• Es werden regelmäßig hochsensible Daten verarbeitet, die das Haus nicht verlassen sollen
• Das Nutzungsvolumen ist hoch und gleichmäßig, die Hardware wäre dauerhaft ausgelastet
• Qualifiziertes Personal für Betrieb und Wartung ist vorhanden oder eingeplant
• Die Aufgaben sind Routinetätigkeiten, für die offene Modelle ausreichen

Die Cloud ist meist die richtige Wahl, wenn:

• Sie am Anfang stehen oder die Nutzung schwankt: kein Fixkostenrisiko, sofort startklar
• Das Team klein ist und KI als Assistenz nutzt, nicht als Dauerlast
• Sie die jeweils leistungsfähigsten Modelle brauchen
• Niemand im Haus den Serverbetrieb übernehmen kann oder soll

Der pragmatische Mittelweg, der sich in der Praxis zunehmend durchsetzt, ist hybrid: unkritische Aufgaben über sorgfältig ausgewählte Cloud-Dienste, besonders sensible Prozesse lokal. So kombinieren Sie Datenhoheit dort, wo sie zählt, mit der Modellqualität und Flexibilität der Cloud.

Unsere Empfehlung: erst rechnen, dann kaufen

Bevor Sie in Hardware investieren, beantworten Sie drei Fragen: Wie viel würden die geplanten Anwendungsfälle in der Cloud tatsächlich kosten? Wie ausgelastet wäre die eigene Hardware realistisch? Und wer betreibt sie? Häufig zeigt diese Rechnung: Die Cloud-Kosten fallen deutlich kleiner aus als befürchtet, und das Budget ist in guten Prozessen und sauberer Einführung besser angelegt als in Blech.

Genau diese Rechnung stellen wir mit Ihnen auf: ehrlich, anbieterneutral und mit Blick auf Datenschutz und KI-Verordnung. Wenn Sie vor der Entscheidung stehen: In einem kostenlosen Erstgespräch geben wir Ihnen eine erste Einschätzung, ob sich lokale KI für Ihr Unternehmen rechnet oder ob das Budget an anderer Stelle mehr bewirkt.

Wo die Infrastrukturentscheidung in der Gesamtplanung sitzt, steht in KI-Strategie im Mittelstand.