Souveräne KI, ehrlich gerechnet: Was On-Premises wirklich kostet

Wer gerade entscheidet, ob KI-Workloads in die Cloud oder auf eigene Server gehören, bekommt zwei Rechnungen vorgelegt, die beide nicht aufgehen. Der TCO-Rechner des Cloud-Anbieters vergisst, dass auch eine API betrieben werden will. Die On-Premises-Kalkulation des Hardware-Vertriebs vergisst Strom, Wartung, Redundanz und vor allem die Menschen, die den Server am Laufen halten. Wir haben beide Rechnungen vervollständigt: ein 36-Monats-Kostenmodell aus ausschließlich öffentlichen, datierten Preisquellen, mit offengelegten Annahmen und ohne vorbestimmten Gewinner.

1 · Zwei interessengeleitete Rechnungen, kein neutraler Maßstab

Die Debatte um souveräne KI hat ein Zahlenproblem. Auf der einen Seite stehen Anbieter-Kalkulatoren, die On-Premises teuer aussehen lassen, weil sie der Cloud-Seite nur den Listenpreis der Tokens gutschreiben. Auf der anderen Seite steht eine On-Prem-Romantik, die eigene Hardware schönrechnet, weil sie die Anschaffung durch 36 teilt und den Rest weglässt. Beide Seiten haben ein Geschäftsmodell, keinen Maßstab.

Dieser Artikel ist der Versuch eines Maßstabs. Die Regeln: Beide Kostenseiten werden symmetrisch vervollständigt, jede Zahl stammt aus einer datierten, öffentlichen Quelle, alle Annahmen stehen mit Spannen im Companion-Repository, und die Sensitivität dieser Annahmen wird durchgerechnet statt versteckt. Es gibt bewusst keinen „Gewinner" - es gibt Bedingungen, unter denen jeder der Bezugswege gewinnt.

2 · Methodik: 110 datierte Preisquellen, vier Workloads, 36 Monate

Grundlage ist ein Preis-Snapshot vom 7. Juli 2026 mit 110 datierten Einträgen aus öffentlichen Preislisten: Managed-API-Preise (OpenAI, Anthropic, Azure OpenAI, Mistral mit EU-Hosting), Cloud-GPU-Instanzen (Azure H100 in der Region Deutschland, OVHcloud H100/L40S als EU-souveräner Anbieter; jeweils on-demand und reserviert), On-Premises-Hardware in drei Ausbaustufen (1× L40S als Einstieg, 2× H100 als Mittelklasse, 8× H100 als Großsystem), Destatis-Industriestrom und Colocation-Listenpreise sowie öffentliche Gehaltsspannen für MLOps/DevOps. Keine Anbieter-Angebote, kein Scraping hinter Logins; was öffentlich nicht belegbar ist, wird als Annahme markiert und in der Sensitivitätsanalyse variiert.

Gerechnet werden vier Workload-Szenarien über 36 Monate: S (internes RAG/Assistenzsystem, rund 1 Million Tokens pro Monat, Bürozeiten), M (Kunden-App, rund 10 Millionen Tokens pro Monat, 16/7 mit moderaten Lastspitzen), L (Produkt/Plattform, rund 100 Millionen Tokens pro Monat, 24/7 mit Peak-Faktor 3) und B (klassisches ML-Batch-Scoring über Nacht, ganz ohne Latenzbedarf). Jede Zahl in diesem Artikel kommt aus der Ergebnisdatei results/tco_summary.json des Companion-Repositorys; das Notebook rechnet deterministisch und ausschließlich aus dem Snapshot.

3 · Die ehrliche Cloud-Rechnung: Leerlaufreserve, Egress und Betrieb

Der Token-Preis ist nicht die Rechnung. Auf die API-Rechnung kommen Logging, Monitoring und der abfließende Datenverkehr (Egress), zusammen angesetzt mit 5 Prozent der API-Kosten - und vor allem Betrieb: Auch eine Managed API braucht Integration, Überwachung, Fehlerbehandlung und Prompt-Pflege, angesetzt mit 0,1 FTE. Bei kleinen Workloads dominiert dieser Posten alles andere. Im S-Szenario kostet die Frontier-API (das jeweils leistungsstärkste API-Modell, in der Rechnung OpenAI gpt-5.5) rund 794 Euro pro Monat - davon sind ganze 8,79 Euro Tokens, der Rest ist fast vollständig Personal. Wer API-Kosten senken will, optimiert bei kleinen Volumina also am falschen Ende.

Selbst gehostete Cloud-GPUs tragen zwei gern vergessene Posten: die Leerlaufreserve (Autoscaling hält Kapazität über dem Ist-Verkehr vor, angesetzt mit 30 Prozent Aufschlag auf aktive Stunden) und die Tatsache, dass reservierte Instanzen rund um die Uhr in Peak-Größe bezahlt werden, auch nachts. Dazu kommen 0,3 FTE für den Modellbetrieb. So kostet die reservierte Azure-H100 in der Region Deutschland konstant 5.669 Euro pro Monat - egal, ob Tokens fließen oder nicht. Der EU-Anbieter OVHcloud liegt reserviert bei 4.363 Euro und on-demand, je nach Lastprofil, deutlich darunter.

4 · Die ehrliche On-Premises-Rechnung: Personal schlägt Strom

Auf der On-Premises-Seite wird traditionell der Strom diskutiert - dabei ist er der kleinste relevante Posten. Die vollständige Rechnung: lineare Abschreibung der Anschaffung über 36 Monate, Industriestrom nach Destatis-Preis mit einem PUE von 1,6 für den hauseigenen Serverraum, also 60 Prozent Energie-Zuschlag für Kühlung und Infrastruktur (alternativ Colocation zum Listenpreis), Wartung mit 8 Prozent der Anschaffung pro Jahr, N+1-Redundanz (ein zusätzliches Reservesystem), sobald die Verfügbarkeitsanforderung sie erzwingt - und der größte unterschätzte Posten: 0,5 FTE MLOps/DevOps für den Modellbetrieb, angesetzt mit Personal-Vollkosten von rund 94.000 Euro pro Jahr.

Das verschiebt die Proportionen drastisch. Beim Einstiegsserver (1× L40S, inhouse) stehen 829 Euro monatlicher Abschreibung ganze 3.924 Euro Personalanteil gegenüber - der Mensch kostet mehr als das Vierfache der Maschine. Strom: 121 Euro. Wer über On-Premises spricht und über Personal schweigt, hat die Rechnung nicht gemacht.

5 · Grundergebnis: In keinem Basis-Szenario gewinnt On-Premises

Die vier Szenarien, jeweils günstigste Variante pro Bezugsweg (Euro pro Monat, 36-Monats-Modell):

Bemerkenswert daran: Selbst im L-Szenario mit 100 Millionen Tokens pro Monat bleibt die Frontier-API (2.053 Euro) klar unter der günstigsten Cloud-GPU-Variante (3.695 Euro) und bei rund einem Fünftel der Kosten eigener Hardware (10.996 Euro, inklusive der dort fälligen N+1-Redundanz). Die EU-gehostete Mistral-API kostet im L-Szenario 1.117 Euro - EU-Datenresidenz ist auf API-Ebene fast zum Nulltarif zu haben. Und das Batch-Szenario zeigt das Muster in Reinform: Nächtliches Scoring bezahlt in der Cloud nur die gerechneten Stunden (2.531 Euro), während der eigene Server auch tagsüber abgeschrieben wird (5.054 Euro).

Ein Großsystem (8× H100) haben wir für das L-Szenario bewusst als Illustration mitgerechnet: 32.941 Euro pro Monat, knapp 1,19 Millionen Euro über 36 Monate - massiv überdimensioniert für 100 Millionen Tokens. Das ist der Preis dafür, Souveränitäts-Reserven zu kaufen, die man nicht auslastet.

6 · Break-even: rund 574 Millionen Tokens pro Monat

Ab welchem Volumen dreht sich das Bild? Die Break-even-Kurve über das Token-Volumen (Workload-Profil M, 16/7, Peak-Faktor 2) gibt die Antwort:

Die Frontier-API bleibt bis rund 574 Millionen Tokens pro Monat günstiger als der eigene 2×-H100-Server. Gegen die reservierte Cloud-GPU (Azure, Region Deutschland) liegt der Schnittpunkt bei rund 424 Millionen Tokens pro Monat, gegen den günstigeren EU-Anbieter entsprechend früher. Und wer die EU-gehostete API als Referenz nimmt, verschiebt den On-Premises-Break-even auf rund 2,2 Milliarden Tokens pro Monat - die günstige API-Kurve schneidet die Fixkostenlinien erst viel später.

Zur Einordnung: 574 Millionen Tokens pro Monat sind mehr als das Fünffache unseres L-Szenarios, also einer 24/7-Produktplattform. Der Break-even liegt nicht dort, wo die meisten Mittelständler heute stehen - er liegt dort, wo LLM-Inferenz zum Kerngeschäft geworden ist.

7 · Sensitivität: die drei Parameter, an denen die Entscheidung hängt

Jede Annahme des Modells wurde einzeln über ihre dokumentierte Spanne variiert. Das Tornado-Diagramm zeigt, was den Break-even wirklich bewegt - und was nicht:

1. API-Preisniveau. Fallen die API-Preise um weitere 50 Prozent - was der historischen Richtung entspricht -, verdoppelt sich der Break-even auf rund 1,15 Milliarden Tokens pro Monat. Jede On-Premises-Entscheidung ist damit auch eine Wette auf die künftige API-Preiskurve.
2. Ops-Personalanteil. Zwischen 0,25 und 1,0 FTE für den On-Premises-Betrieb wandert der Break-even zwischen rund 403 und 914 Millionen Tokens pro Monat. Ob ein eingespieltes Betriebsteam existiert oder erst aufgebaut werden muss, ist die teuerste einzelne Personalfrage der Rechnung.
3. GPU-Anschaffungspreis. 30 Prozent günstigere Hardware senkt den Break-even auf rund 489 Millionen Tokens pro Monat - spürbar, aber schwächer als die ersten beiden Hebel.

Ebenso wichtig ist, was nicht entscheidet: Der Industriestrompreis verschiebt den Break-even selbst bei ±50 Prozent nur zwischen 564 und 583 Millionen Tokens pro Monat - ein Ausschlag von unter 2 Prozent in jede Richtung. Und der Serving-Durchsatz je H100 (variiert zwischen 700 und 3.000 Tokens pro Sekunde) hat unterhalb der GPU-Sättigung exakt null Effekt, weil das Volumen die Karte schlicht nicht auslastet. Die Strompreis-Debatte und das Durchsatz-Benchmarking sind für diese Entscheidung Nebenschauplätze.

8 · Beide Seiten in Bestform - und die Souveränitätsprämie

Ein ehrlicher Vergleich muss beide Seiten in ihrem besten Licht rechnen, nicht im schlechtesten.

Bester Fall für die Cloud: 2 Millionen Tokens pro Monat, stark schwankende Last (Peak-Faktor 4), kleines Team ohne eigene Betriebskapazität, Frontier-Qualität nötig. Ergebnis: Die API kostet 803 Euro pro Monat, der eigene Einstiegsserver 5.073 Euro - über 36 Monate ist die API um den Faktor 6,3 günstiger. Hier ist die Entscheidung keine Abwägung, sondern Arithmetik.

Bester Fall für On-Premises: 1,5 Milliarden Tokens pro Monat in nahezu konstanter 24/7-Last, Datenhoheit zwingend (Verarbeitung muss physisch im eigenen Haus stattfinden), ein vorhandenes Betriebsteam übernimmt die Maschinen nebenher, Open-Weights-Qualität reicht fachlich aus. Ergebnis: Der eigene 2×-H100-Server kostet inklusive N+1-Redundanz 9.035 Euro pro Monat und schlägt die EU-gehostete Frontier-API (19.810 Euro) um den Faktor 2,2.

Aber - und dieser Befund ist der zitierfähige Kern des Modells: Selbst im konstruierten Bestfall schlägt On-Premises nur die Token-APIs. Die gemietete EU-Cloud-GPU (OVHcloud, reserviert, 4.363 Euro pro Monat) bleibt auch dann günstiger. Die Differenz von rund 4.700 Euro pro Monat - etwa 56.000 Euro pro Jahr - ist der Preis der Anforderung, dass die Hardware im eigenen Gebäude steht statt im EU-Rechenzentrum eines europäischen Anbieters. Diese Souveränitätsprämie kann eine völlig rationale Ausgabe sein; sie sollte nur als das budgetiert werden, was sie ist: eine bezahlte Anforderung, kein Sparprogramm.

9 · Was wir bewusst nicht eingepreist haben

Drei Dinge stehen absichtlich nicht als Euro-Beträge im Modell, weil jede Bezifferung Scheingenauigkeit wäre:

• Der Qualitäts-Trade-off. Selbst gehostete Systeme (Cloud-GPU wie On-Premises) servieren Open-Weights-Modelle; Frontier-APIs liefern je nach Aufgabe höhere Qualität. Ob Open Weights fachlich reichen, ist eine Eignungsprüfung am eigenen Anwendungsfall - kein Kostenfaktor, den man pauschal einpreisen könnte. Das Modell benennt den Trade-off und lässt ihn offen.
• Der Compliance- und Souveränitätsnutzen. US-Anbieter unterliegen auch bei EU-Hosting dem Zugriff nach dem CLOUD Act; echte EU-Anbieter und eigene Hardware stufen diese Abhängigkeit ab, und die ab August 2026 greifenden Durchsetzungsstufen des AI Act erhöhen den Dokumentationsdruck. Das ist ein realer, qualitativer Nutzen der souveränen Optionen - ihn in Euro zu „bewerten" wäre genau die Pseudo-Quantifizierung, die dieser Artikel kritisiert.
• Prognosen. Das Risiko der API-Anbieter (Preisänderungen, Modell-Abkündigungen) behandeln wir als Sensitivitätsspanne, nicht als Vorhersage. Ein Restwert der Hardware nach 36 Monaten (dokumentierte Annahme: 15 Prozent, Spanne bis 30) ist in der Basisrechnung nicht angesetzt.

Grenzen der Studie: Listenpreise statt verhandelter Konditionen (Rabatte verschieben beide Seiten), ein Serving-Setup je Ausbaustufe statt feinoptimierter Konfigurationen, und Personal als FTE-Anteile aus öffentlichen Gehaltsspannen. Alle drei Vereinfachungen sind dokumentiert und über die Sensitivitätsanalyse abgedeckt.

10 · Die Bedingungslandkarte: Wann welcher Bezugsweg gewinnt

Statt eines Gewinners liefert das Modell Bedingungen:

• Unter etwa 500 Millionen Tokens pro Monat und ohne harte On-Premises-Pflicht: Managed API. Wenn EU-Datenresidenz gefordert ist, kostet die EU-gehostete API kaum Aufpreis (im L-Szenario: 1.117 statt 975 Euro pro Monat gegenüber der günstigsten globalen Variante).
• Hohe, konstante Last und EU-Datenresidenz genügt: gemietete EU-Cloud-GPU. Sie ist ab mittleren dreistelligen Millionenvolumina die günstigste souveräne Option - ohne Capex, ohne Hardware-Risiko.
• On-Premises ist dann richtig, wenn vier Bedingungen zusammenkommen: die Verarbeitung muss physisch ins eigene Haus, die Last ist hoch und konstant, ein Betriebsteam existiert bereits, und die Open-Weights-Qualität reicht für den Anwendungsfall. Dann ist On-Premises eine rationale, bewusst bezahlte Entscheidung - mit einer Souveränitätsprämie von rund 4.700 Euro pro Monat gegenüber der EU-Cloud-GPU im besten Fall.
• In jedem Fall gilt: Die Entscheidung hängt an drei Parametern - API-Preisniveau, Ops-Personalanteil, GPU-Anschaffungspreis. Wer sie für das eigene Haus kennt, kann die Kurven mit dem Companion-Repository in Minuten auf die eigene Situation umrechnen. Der Strompreis ist es fast nie.

Reproduzierbarkeit

Sämtliche Zahlen dieses Artikels stammen aus results/tco_summary.json des öffentlichen Companion-Repositorys onprem-cloud-tco-benchmark. Das Notebook rechnet deterministisch und ausschließlich aus dem eingefrorenen Preis-Snapshot data/data_snapshot.json (110 datierte Einträge, Stand 7. Juli 2026, jede Quelle mit URL und Abrufdatum); es führt keine Netzwerkzugriffe aus. Die Kernaussagen sind nach unserem Truth-Check-Protokoll geprüft; das Protokoll liegt als Heatmap im Repository.

Quellen

• Preis-Snapshot data/data_snapshot.json im Companion-Repository: 110 datierte Einträge aus öffentlichen Preislisten (Managed APIs: OpenAI, Anthropic, Azure OpenAI, Mistral; Cloud-GPU: AWS, Azure, OVHcloud; On-Premises-Hardware: Listenpreise dreier Ausbaustufen; Colocation-Listenpreise), jeweils mit Quelle, URL und Abrufdatum.
• Industriestrompreis: Statistisches Bundesamt (Destatis), genutzt unter Datenlizenz Deutschland - Namensnennung - 2.0.
• Personal-Vollkosten: öffentliche Gehaltsspannen MLOps/DevOps, als FTE-Anteile modelliert (Quellenangaben im Snapshot).
• EUR/USD-Umrechnung: EZB-Referenzkurs (datiert im Snapshot).