Lokale KI oder Cloud-KI: Wie entscheiden?

Sie haben ein KI-Projekt und sind unentschlossen zwischen einer lokalen Lösung und einer Cloud-API. Diese Entscheidung ist nicht binär: Sie hängt von Ihrem Nutzungsvolumen, Budget, Datenschutzanforderungen und technischen Fähigkeiten ab.

Dieser Leitfaden bietet eine konkrete Methode, um die richtige Entscheidung zu treffen, mit praktischen Schritten, Kostenvergleichen und zu vermeidenden Fallstricken.

Das Thema verstehen: Lokale KI vs Cloud-KI

Lokale KI bedeutet, Modelle auf Ihrer eigenen Infrastruktur zu hosten und auszuführen — einem Server, einer Workstation oder sogar einem Laptop mit GPU. Sie laden ein Open-Source-Modell (Llama, Mistral, Qwen) herunter und führen es über eine Inferenz-Engine wie Ollama, vLLM oder llama.cpp aus.

Cloud-KI basiert auf Drittanbieter-APIs: Sie senden Ihre Daten an einen Anbieter (OpenAI, Anthropic, Mistral AI), der das Modell auf seinen Servern ausführt und das Ergebnis zurückgibt. Sie zahlen pro Nutzung, ohne Infrastruktur verwalten zu müssen.

Die Wahl zwischen beiden hängt von fünf Kriterien ab: Nutzungsvolumen, akzeptable Latenz, Datensensitivität, verfügbares Budget und Team-Fähigkeiten.

Voraussetzungen vor der Entscheidung

Bevor Sie beginnen, sammeln Sie die folgenden Informationen:

• Geschätztes monatliches Volumen: wie viele Anfragen oder Tokens pro Tag? 1.000, 10.000, 1 Million?
• Erwartete Latenz: muss die Antwort in unter 200 ms (Echtzeit) kommen oder reichen 5 Sekunden?
• Datentyp: enthalten die Daten persönliche, vertrauliche oder regulierte Informationen (DSGVO)?
• Budget: wie viel können Sie in Hardware (einmalig) und Abonnements (monatlich) investieren?
• Fähigkeiten: haben Sie eine/n Entwickler/in oder Systemadministrator/in im Team?

Tipp: wenn Sie Ihr Volumen noch nicht kennen, beginnen Sie einen Monat lang mit einer Cloud-API, messen Sie Ihren tatsächlichen Verbrauch und rechnen Sie dann neu.

Schritt-für-Schritt-Entscheidungsleitfaden

Schritt 1: Nutzungsvolumen bewerten

Das Volumen ist das wichtigste Unterscheidungskriterium. Hier eine Grössenordnung basierend auf realen Fällen:

Nutzung	Anfragen/Monat	Tokens/Monat	Empfohlene Lösung
Gelegentliche Nutzung (Schreiben, Umformulieren)	< 5.000	< 10 M	Cloud
Dokumentenassistenz (Team von 10)	5.000 - 50.000	10 - 100 M	Cloud oder hybrid
Batch-Dokumentenverarbeitung	50.000 - 500.000	100 M - 1 Md	Lokal
24/7 automatisierter Kundenservice	> 500.000	> 1 Md	Lokal

Faustregel: unter 500.000 Tokens pro Tag ist die Cloud in der Regel wirtschaftlicher. Darüber hinaus wird lokal rentabel, mit einer Hardware-ROI von 6 bis 12 Monaten. Diese Zahlen gehen von einer Mittelklasse-GPU wie einer RTX 4090 und durchschnittlichen Stromkosten in Europa aus und dienen als erste Orientierung für Ihre Budgetplanung.

Schritt 2: Datensensitivität analysieren

Einige Branchen haben keine Wahl: Die Daten dürfen die Infrastruktur nicht verlassen.

• Gesundheitswesen: Gesundheitsdaten (DSGVO) → lokal Pflicht
• Finanzen: Kundendaten, Transaktionen → lokal stark empfohlen
• Recht: vertrauliche Verträge, Prozessstrategien → lokal empfohlen
• KMU ohne sensible Daten: Cloud akzeptabel

Schritt 3: Latenz bewerten

Wenn Ihre Anwendung eine Antwort in unter 500 ms benötigt (Chat, Sprachassistent), kann die Netzwerklatenz der Cloud (200 bis 800 ms Round-Trip) prohibitiv sein. Ein lokales Modell auf GPU antwortet in 50 bis 200 ms.

Schritt 4: Budget schätzen

Cloud-Budget (API):

• GPT-4o mini: ~$0,15 / Million Eingabe-Tokens, ~$0,60 / Million Ausgabe-Tokens
• Mistral Small: ~$0,10 / Million Tokens
• Claude 3 Haiku: ~$0,25 / Million Tokens
• Bei 1 Million Tokens/Tag: 150 bis 600 $ / Monat

Lokales Budget (einmalige Investition):

• Consumer-GPU-Workstation (RTX 4090): 2.500 - 3.500 €
• Pro-GPU-Server (RTX 6000 Ada): 6.000 - 8.000 €
• Dual-GPU-Server: 10.000 - 15.000 €
• Strom und Wartung: 50 - 200 € / Monat

Lokale Modelle sind in verschiedenen Quantisierungsstufen verfügbar — Q4, Q8, FP16 — die Speicherverbrauch und Qualität gegeneinander abwägen. Ein Q4-Modell benötigt etwa halb so viel RAM wie ein Q8-Modell, kann aber etwas weniger genaue Ergebnisse liefern. Beginnen Sie mit Q8 für die Qualitätsbewertung und wechseln Sie zu Q4, wenn Latenz oder Speicher ein Problem darstellen. Achten Sie beim Testen auf die Antwortqualität für Ihren spezifischen Anwendungsfall, nicht nur auf allgemeine Benchmarks. Ein Modell, das bei Mathematikaufgaben gut abschneidet, muss bei kreativem Schreiben oder Extraktionsaufgaben nicht überzeugen. Führen Sie mindestens 20 repräsentative Abfragen pro Option durch und lassen Sie die Ergebnisse von einem Kollegen blind bewerten.

Schritt 5: Beide Ansätze testen

Bevor Sie sich festlegen, testen Sie beide Lösungen an einem realen Fall:

1. Cloud-Test: erstellen Sie ein Konto bei OpenAI oder Mistral, nutzen Sie deren Guthaben, validieren Sie die Antwortqualität auf Ihren Daten
2. Lokaler Test: installieren Sie Ollama auf Ihrem Rechner, laden Sie Llama 3.1 8B oder Mistral 7B herunter, vergleichen Sie Qualität und Geschwindigkeit mit der Cloud-Version
3. Vergleichen: gleicher Prompt, gleicher Kontext, messen Sie wahrgenommene Qualität und Antwortzeit

Empfohlenes Tool: nutzen Sie OpenRouter, um mehrere Cloud-Modelle nebeneinander zu vergleichen, und Ollama für lokale Tests.

Detaillierter Vergleich: Lokal vs Cloud

Kriterium	Lokale KI	Cloud-KI
Anschaffungskosten	2.500 - 15.000 € (GPU + Server)	0 €
Laufende Kosten	50 - 200 € / Monat (Strom, Wartung)	50 - 600 € / Monat (je nach Volumen)
Latenz	50 - 200 ms	200 - 800 ms
Datenschutz	Vollständig (Daten vor Ort)	Abhängig vom Anbieter
Modellqualität	Open Source (gut bis sehr gut)	Proprietär (hervorragend)
Anpassung	Fine-Tuning möglich	Beschränkt auf Prompts
Wartung	Intern (Updates, Überwachung)	Keine (vom Anbieter verwaltet)
Skalierbarkeit	Durch Hardware begrenzt	Elastisch (bei Bedarf)
Verfügbarkeit	Abhängig von Ihrer Infrastruktur	99,9%+ SLA
Erforderliche Fähigkeiten	Systemadministrator, Docker	REST-API-Entwickler

Praktische Bereitstellung: Installieren und Konfigurieren

Für eine produktionsreifere Einrichtung betreiben Sie Ollama oder vLLM in Docker. Dies isoliert Abhängigkeiten, vereinfacht Updates und macht Ihre Bereitstellung über Maschinen hinweg reproduzierbar. Eine einfache docker-compose.yml mit Ollama, Open WebUI und einem Reverse Proxy ist in etwa 30 Minuten konfiguriert und bietet eine professionelle Einrichtung, die von jedem Gerät in Ihrem Netzwerk aus zugänglich ist.

Option Lokal: Ollama installieren

# Installation (Linux / macOS)
curl -fsSL https://ollama.com/install.sh | sh

# Modell herunterladen
ollama pull llama3.1:8b

# Server starten
ollama serve

# Testen
curl http://localhost:11434/api/generate -d '{
  "model": "llama3.1:8b",
  "prompt": "Erkläre die Vorteile lokaler KI in 3 Punkten.",
  "stream": false
}'

Geschätzte Zeit: 15 Minuten für die Installation, 10 Minuten für den Download eines Modells (je nach Verbindung).

Option Cloud: API-Schlüssel in 5 Minuten

# Mit OpenAI
export OPENAI_API_KEY="sk-..."
curl https://api.openai.com/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{
    "model": "gpt-4o-mini",
    "messages": [{"role": "user", "content": "Erkläre die Vorteile von Cloud-KI in 3 Punkten."}]
  }'

Um weiterzugehen: Tools wie Open WebUI (Web-Oberfläche für Ollama) oder Langflow (visueller KI-Pipeline-Builder) ermöglichen die Interaktion mit Ihren lokalen Modellen, ohne eine einzige Zeile UI-Code schreiben zu müssen. Wenn Sie sich für die Cloud entscheiden, bieten Plattformen wie OpenRouter Zugang zu Dutzenden von Modellen über eine einzige API, was Tests und Migrationen erleichtert.

Best Practices

• Beginnen Sie mit der Cloud: auch wenn Sie langfristig lokal anstreben, starten Sie mit einer API, um Ihren Bedarf ohne Investition zu validieren
• Planen Sie einen Fallback: in Produktion bei Sättigung des lokalen Servers auf die Cloud umschalten
• Überwachen Sie Ihre Kosten: Cloud-APIs berechnen pro Token — ein schlecht konzipierter Prompt kann unnötig teuer werden
• Verwenden Sie quantisierte Modelle: lokal bevorzugen Sie GGUF Q4 oder Q8 Versionen (gutes Qualitäts-Grössen-Verhältnis)
• Behalten Sie die Versionskontrolle: Cloud-Modelle ändern sich ohne Vorankündigung — ein lokales Modell garantiert Stabilität
• Dokumentieren Sie Ihre Architektur: ob lokal oder Cloud, die Konfiguration muss reproduzierbar sein (Docker, Terraform)

Häufige Fehler, die Sie vermeiden sollten

Cloud-Abo ohne Prüfung des tatsächlichen Volumens abschliessen

Der häufigste Fehler: ein Abo für 200 €/Monat abschliessen für eine API, die nur 10.000 Mal im Jahr genutzt wird. Nutzen Sie zuerst die kostenlosen Guthaben, messen Sie Ihren tatsächlichen Verbrauch, dann wählen Sie den richtigen Plan.

GPU vor dem Testen kaufen

Eine Grafikkarte für 3.000 € zu kaufen, ohne vorher ein lokales Modell getestet zu haben, ist riskant. Die Qualität von Open-Source-Modellen entspricht möglicherweise nicht Ihren Anforderungen. Testen Sie zuerst auf Ihrem aktuellen Rechner, auch wenn er langsam ist.

Sicherheit des lokalen Servers vernachlässigen

Ein Server, der ohne Authentifizierung im Internet exponiert ist, ist eine offene Tür. Verwenden Sie immer einen Reverse Proxy (Nginx, Caddy) mit einem API-Schlüssel, schränken Sie erlaubte IPs ein und aktivieren Sie TLS.

Ein zu grosses Modell wählen

Ein Modell mit 70 Milliarden Parametern passt nicht auf eine RTX 4090 (24 GB). Berechnen Sie den benötigten Speicher vor dem Kauf. Beginnen Sie lokal mit Modellen von 7 bis 14 Milliarden Parametern.

Empfehlungen nach Profil

Freiberufler oder Kleinstunternehmen

Nutzen Sie Cloud-APIs (Mistral, GPT-4o mini) mit monatlicher Kostenverfolgung. Keine Hardware-Investition. Typisches Budget: 10 bis 50 € / Monat.

KMU mit 10 bis 50 Mitarbeitern

Entscheiden Sie sich für einen hybriden Ansatz: Cloud-API für gelegentliche Nutzung, einen lokalen Ollama- oder vLLM-Server für regelmässige Verarbeitung (Besprechungsprotokolle, Klassifikation, Extraktion). Investition: 2.500 bis 5.000 € einmalig, plus 50 bis 200 € / Monat für die Cloud.

Organisation mit sensiblen Daten (Gesundheit, Finanzen, Recht)

Lokale Lösung Pflicht mit Ollama oder vLLM auf einem dedizierten Server. Mistral- oder Llama-Modelle quantisiert in Q4. Investition: 6.000 bis 15.000 € je nach Volumen. Kein wiederkehrendes Cloud-Abo.

Behalten Sie auch im Hinterkopf, dass sich der Markt schnell entwickelt. Open-Source-Modelle verbessern sich mit jeder Veröffentlichung, Consumer-GPUs bieten mit jeder Generation mehr Speicher und Cloud-Anbieter senken kontinuierlich ihre Preise. Eine heute getroffene Entscheidung kann in sechs Monaten überdacht werden. Wichtig ist, eine Architektur zu schaffen, die es Ihnen ermöglicht, ohne vollständige Neuschreibung von einem zum anderen zu wechseln. Die Verwendung OpenAI-kompatibler APIs sowohl für lokale als auch für Cloud-Modelle macht diesen Wechsel nahezu transparent.

Fazit

Die Wahl zwischen lokaler KI und Cloud-KI ist nicht ideologisch, sondern pragmatisch. Die Cloud ist perfekt zum Starten, Testen und für Lastspitzen. Lokal ist unverzichtbar für Datenschutz, hohe Volumen und niedrige Latenz.

Die gute Nachricht: Sie müssen sich nicht endgültig entscheiden. Eine hybride Architektur, bei der das lokale Modell standardmässig antwortet und die Cloud-API bei Sättigung einspringt, bietet das Beste aus beiden Welten. Dieses Muster wird in Produktionsumgebungen zunehmend üblich, insbesondere für KMU mit variablen Arbeitslasten im Tagesverlauf, die von der Elastizität der Cloud profitieren, ohne auf die Kontrolle des Lokalen zu verzichten.

Nächster Schritt: installieren Sie Ollama in 15 Minuten, führen Sie Ihren ersten lokalen Test durch und vergleichen Sie mit einer Cloud-API. Sie haben Ihre Antwort in einem Nachmittag und wissen genau, welche Richtung Sie für die Produktion einschlagen sollten. Zögern Sie nicht — der beste Weg, zu lernen, ist, es einfach zu tun.