Private LLM / Hosted LLM.
Ihre Daten. Ihr Modell. Ihre Infrastruktur.
Open-Source-Modelle wie Llama, Mistral oder Phi, betrieben auf Ihrer Infrastruktur, in unserer IDCloud oder auf dedizierten GPU-Bare-Metal-Servern in Europa. Ohne dass Daten Ihre Domäne verlassen.
Warum dieses Konzept entstanden ist.
Drei Beobachtungen, die zu diesem Konzept geführt haben.
Public AI und die Datenresidenz-Frage
Die Herausforderung
Defence, Healthcare, Legal, Public Sector, Finance: Daten dürfen in vielen Branchen schlicht nicht in einer US-Cloud verarbeitet werden, auch nicht im EU-Hosting eines US-Hyperscalers.
Open-Source-LLMs sind produktiv geworden
Die Entwicklung
Llama, Mistral oder Phi haben in den letzten beiden Jahren einen Qualitätssprung gemacht, der sie für den Unternehmenseinsatz reif macht.
Qualität ohne Compliance-Schwächen
Die Antwort
Mit der richtigen Modellauswahl, dem passenden Inference-Stack und sauberem RAG erreichen Open-Source-Modelle für viele Use-Cases die Qualität proprietärer Cloud-Modelle, ohne deren Compliance-Schwächen.
Drei Wege zur Generative AI.
Public-API, Hosted-Modell und Private LLM haben jeweils eigene Stärken. Hier die ehrliche Gegenüberstellung.
Public AI (OpenAI, Anthropic, Google)
Hersteller-API, kein Hosting-Aufwand
Herausforderungen
- Daten verlassen die EU und fließen je nach Plan in das Modell-Training ein
- Vendor-Lock-in beim Modell, der API-Kontrakt kann sich ändern
- Keine Kontrolle über Modell-Updates, Deprecation oder Verfügbarkeit
Vorteile
- Sofort verfügbar, keine Infrastruktur
- Schneller Zugang zu den jeweils stärksten Modellen am Markt
- Pay-per-Token, kein Setup-Invest
Hosted LLM (Azure OpenAI Service)
Modell vom US-Anbieter, EU-Hosting
Herausforderungen
- Modell und Plattform bleiben unter US-Kontrolle, auch bei EU-Hosting
- Quotas und Verfügbarkeit folgen der Roadmap der jeweiligen Azure-Region
- Keine Möglichkeit, das Modell selbst weiterzubilden oder anzupassen
Vorteile
- EU-Datenresidenz und Compliance-Zertifikate
- Hohe Skalierbarkeit ohne eigene GPU-Infrastruktur
- Microsoft-Standard für Identity, Audit und Networking
Private LLM von Indeno
Open-Source-Modelle auf eigener oder Indeno-Infrastruktur
Herausforderungen
- Open-Source-Modelle hinken den absoluten Top-Modellen oft 6 bis 12 Monate hinterher
- GPU-Infrastruktur ist Investment und braucht laufendes Sizing
- Modell-Aktualisierungen, Quantisierung und Tuning sind Eigenleistung
Vorteile
- Volle Datenkontrolle: Prompts und Antworten verlassen Ihre Infrastruktur nie
- Modellauswahl frei: Llama, Mistral, Phi, Mixtral, Qwen, DeepSeek und weitere
- Hosting wahlweise auf Ihrer Hardware, in IDCloud oder bei einem EU-Hyperscaler
- Optionales Fine-Tuning auf Domänenwissen oder Sprachstil
- Integration in Ihre bestehenden Anwendungen über offene APIs (OpenAI-kompatibel)
Der Private-LLM-Stack.
Vier Schichten, die zusammen Ihre souveräne KI-Plattform ergeben. Kein Komponenten-Lock-in, keine Black Box.
Modell-Auswahl
Open-Source-Modelle für unterschiedliche Anforderungen, regelmäßig kuratiert.
- Llama 3.3 und Llama 4 für allgemeine Konversation und Reasoning.
- Mistral Small, Medium und Large als europäisch entwickelte Modelle.
- Phi-3 und Phi-4 für ressourcenschonende On-Device-Szenarien.
- Spezialmodelle wie Code Llama oder DeepSeek-Coder für Engineering-Use-Cases.
Inference-Stack
Performante Bereitstellung mit Production-tauglichen Open-Source-Tools.
- vLLM oder TGI (Text Generation Inference) für hohen Durchsatz.
- Ollama für schnelle Pilot-Setups und Edge-Szenarien.
- GPU-Sizing nach Modellgröße, mit FP8- oder GGUF-Quantisierung wenn sinnvoll.
- OpenAI-kompatible REST-API, damit bestehende Tools direkt funktionieren.
Hosting-Optionen
Vom dedizierten Server bis zum sovereign Cloud-Cluster.
- On-Premises auf vorhandener Hardware mit GPU (NVIDIA H100, A100, L40S oder AMD MI300).
- IDCloud-Hosting mit dedizierten GPU-Knoten in Österreich oder Deutschland.
- GPU-Bare-Metal-Server in Europa mit NVIDIA H100 oder L40S, ohne Hypervisor-Overhead.
- EU-Sovereign Hyperscaler wie Exoscale oder IONOS mit GPU-Instanzen.
- Hybrid-Setup: Inference vor Ort, Vector-Store und Frontend in der Cloud.
RAG & Fine-Tuning
Eigenes Wissen ans Modell anschließen oder direkt einbacken.
- Retrieval Augmented Generation mit Qdrant, Weaviate oder PostgreSQL pgvector.
- Quellen-Anbindung an SharePoint, Confluence, GitLab oder File-Shares.
- Optionales Fine-Tuning oder LoRA-Adapter auf domänenspezifische Sprache.
- Evaluations-Setup mit eigenen Benchmarks und Regression-Tests vor Roll-out.
On-Prem, IDCloud oder EU-Sovereign.
Sie entscheiden, wo Ihre KI lebt.
Wir betreiben Ihr Private LLM auf der Hosting-Variante, die zu Ihrer Datenklasse, Ihren Latenz-Anforderungen und Ihrem Budget passt. In allen Fällen bleibt das Modell Ihres und die Daten verlassen den vereinbarten Perimeter nicht.
- On-Premises mit GPU-Hardware in Ihrem Rechenzentrum, gemanagt durch unser Team
- IDCloud-Hosting in Österreich oder Deutschland mit dedizierten GPU-Knoten
- GPU-Bare-Metal-Server in Europa: NVIDIA H100 mit 80 GB VRAM oder L40S, mehrere GPUs pro Server, ohne Hypervisor-Overhead
- EU-Sovereign Hyperscaler wie Exoscale oder IONOS mit GPU-Instanzen für hoch skalierende Workloads
- Kein Datenabfluss in die USA, volle Kontrolle über Datenresidenz und Zugriffsrechte
- Hybrid-Setup möglich: Inference vor Ort, Frontend und RAG in der Cloud
Was Sie als Managed Service bekommen.
Vier Bausteine, die zusammenspielen. GPU-Cluster und Modell-Lifecycle gehören für uns zum Standard, nicht zum Aufpreis.
Managed Inference Cluster
GPU-Server-Betrieb, Patches, Skalierung und Monitoring der Inference-Engine (vLLM, TGI, Ollama).
Modell-Lifecycle
Auswahl, Bereitstellung, Versionierung und Rollback Ihrer Open-Source-Modelle.
RAG & Vector Store
Anbindung interner Wissensquellen, Vector-DB-Betrieb und Reindexierung bei Änderungen.
Security & Compliance
Identity-Anbindung, Audit-Trail, Datenfluss-Dokumentation und DSGVO-/NIS2-Reports.
Wie ein Private-LLM-Projekt abläuft.
Vier Phasen. Pragmatisch, evaluations-getrieben, ohne KI-Theater.
Discovery
Use-Case-Definition, Modell-Empfehlung, GPU-Sizing und Hosting-Entscheidung. Sicherheits- und Compliance-Anforderungen werden früh fixiert.
Setup
Aufbau des Inference-Stacks, Modell-Bereitstellung, Anbindung an Ihre bestehende UI, Identity-Federation und Vector-Store.
Evaluation & Tuning
Benchmark gegen Public-Modelle für Ihre Use-Cases. Optionales Prompt-Engineering, RAG-Tuning oder Fine-Tuning.
Betrieb
24/7 Operations für GPU-Cluster und Inference-Stack, Modell-Updates, Monitoring der Antwortqualität, Cost- und Performance-Reviews.
Rechtlicher Hinweis
Open-Source-Modelle wie Llama, Mistral, Phi, Mixtral und andere unterliegen ihren jeweiligen Lizenzbedingungen (z.B. Llama Community License, Apache 2.0). Die kommerzielle Nutzung ist nicht in jedem Fall ohne Einschränkungen erlaubt und wird im Projekt vorab geprüft.
Generative-AI-Modelle können fehlerhafte oder unvollständige Antworten liefern. Eine inhaltliche Prüfung durch fachkundige Mitarbeiter bleibt für sensible Use-Cases verpflichtend.
Die Indeno GmbH ist keine Vertragspartnerin von Meta, Mistral AI oder anderen Modell-Herstellern. Alle Marken- und Produktnamen sind Eigentum der jeweiligen Markeninhaber.
Wir antworten persönlich.
Sie schreiben, jemand von uns liest und antwortet. Keine Werbe-Mails, keine automatischen Folge-Mails. Sie sprechen direkt mit einem Engineer.