Self-Hosted KI-Infrastruktur

Private KI-Bereitstellung, die niemals eine Cloud-API berührt. HIPAA-, DSGVO- und PCI-DSS-konform durch Architektur, nicht durch Richtlinien. Basierend auf Ollama, vLLM und Open WebUI, vollständig in Ihrer eigenen Umgebung betrieben.

Wenn Ihre Organisation geschützte Gesundheitsdaten, anwaltlich privilegierte Kommunikation oder regulierte Finanzdaten verarbeitet, ist diese Seite für Sie. Wo Ihre KI läuft, ist keine Präferenzentscheidung. Für viele regulierte Organisationen ist es eine rechtliche.

Warum 44 % der Unternehmen KI noch nicht eingesetzt haben#

Datenschutz ist das Haupthindernis — nicht Kosten oder Leistungsfähigkeit#

Die Technologie ist nicht das Problem. Laut dem Enterprise AI Report 2025 von Kong nennen 44 % der Unternehmen Datenschutz und Sicherheit als größtes Hindernis für die LLM-Einführung — noch vor Kosten, Implementierungskomplexität und Fachkräftemangel. Die Modelle existieren. Die Anwendungsfälle sind klar. Das Problem ist, dass die meiste KI-Infrastruktur für die Compliance-Anforderungen anderer konzipiert ist — nicht für Ihre.

Gesundheitsorganisationen können keine klinischen Aufzeichnungen an eine externe API senden und gleichzeitig HIPAA-konform bleiben. Anwaltskanzleien können privilegierte Dokumente nicht über ein kommerzielles Modell verarbeiten, ohne das Anwaltsprivileg zu gefährden. Finanzdienstleister, die der SEC Regulation S-P und FINRA Rule 3110 unterliegen, können Kundeninformationen nicht über Cloud-Infrastruktur Dritter leiten und gleichzeitig ihre Aufbewahrungspflichten erfüllen. Das sind keine Sonderfälle. Sie beschreiben die meisten hochwertigen KI-Anwendungsfälle in regulierten Branchen.

Was „private KI" wirklich bedeutet (und was nicht)#

Ein großer Teil dessen, was als „private KI" vermarktet wird, ist eine Cloud-API hinter einer gebrandeten Oberfläche — manchmal mit einem VPN-Wrapper, manchmal ohne. Ihre Daten durchlaufen weiterhin Infrastruktur Dritter. Sie werden weiterhin unter den Nutzungsbedingungen des Anbieters verarbeitet. Dessen Datenaufbewahrungsrichtlinien gelten weiterhin. Das erfüllt weder den HIPAA-Grundsatz der minimalen Datenverarbeitung noch die Anforderungen der DSGVO an die Datenresidenz oder die Grundsätze des Anwaltsprivilegs.

Echte private KI bedeutet, dass die Inferenz innerhalb Ihrer Umgebung stattfindet. Die Modellgewichte liegen auf Hardware, die Sie kontrollieren. Netzwerkverkehr verlässt niemals Ihren Perimeter. Kein externer API-Aufruf wird durchgeführt. Die Architektur ist der Compliance-Mechanismus — nicht ein Kontrollkästchen in den Einstellungen eines Anbieters.

Die Compliance-Lücke, die Cloud-APIs nicht schließen können#

Cloud-KI-Anbieter bieten BAAs an. Einige verfügen über starke Sicherheitsprogramme. Keines von beidem macht sie für jede Arbeitslast geeignet. Ein Business Associate Agreement deckt die Haftung ab. Es ändert nichts daran, wohin Ihre Daten gehen, wer sie verarbeitet oder welchen Zugriff es ermöglicht.

Im Februar 2026 entschied ein U.S. District Court im Southern District of New York, dass Dokumente, die mit kommerziellen generativen KI-Tools erstellt und mit einem Anwalt geteilt wurden, nicht durch das Anwaltsprivileg geschützt sind. Kommunikation über öffentliche KI-Plattformen erfüllt nicht die erforderlichen Vertraulichkeitselemente, da die Daten an einen Dritten außerhalb des privilegierten Verhältnisses übermittelt und von diesem verarbeitet werden. Dies ist ein bindendes Urteil, kein theoretisches Risiko, und es betrifft jedes Rechtsteam, das ein kommerzielles Cloud-Modell für die Dokumentenarbeit nutzt.

Der Regulatory Oversight Report 2025 der FINRA identifizierte Aufbewahrungspflichten, Schutz von Kundeninformationen und Einhaltung von Reg BI als primäre KI-Risikobereiche für Finanzdienstleister, die generative KI einsetzen. Self-Hosted-Infrastruktur mit vollständigem Audit-Logging unter Ihrer Kontrolle ist die einzige Architektur, die diese Anforderungen ohne strukturelle Kompromisse erfüllt.

Was Self-Hosted KI-Infrastruktur umfasst#

Eine vollständige private Bereitstellung ist kein einzelnes Tool. Es ist ein koordiniertes System von Komponenten, von denen jede korrekt konfiguriert, integriert und gewartet werden muss.

Private LLM-Inferenz (Ollama, vLLM, llama.cpp)#

Die Inferenzschicht ist der Kern des Systems — dort werden Ihre Prompts verarbeitet und Antworten generiert, vollständig innerhalb Ihrer Umgebung. Wir setzen die passende Inferenz-Runtime für Ihre Arbeitslast ein:

• Ollama für Team-Deployments, bei denen Einfachheit, schneller Start und breite Modellunterstützung entscheidend sind. Ollama unterstützt Llama, Mistral, Qwen, Phi und Dutzende weiterer Open-Weight-Modelle mit einer unkomplizierten API und minimalem Infrastruktur-Overhead.
• vLLM für Produktionsumgebungen mit hohem Durchsatz, in denen gleichzeitige Nutzer, Token-Durchsatz und Latenz betriebliche Anforderungen darstellen. Die PagedAttention-Architektur von vLLM liefert eine deutlich bessere GPU-Auslastung als naive Inferenzansätze.
• llama.cpp für CPU-only- oder Edge-Deployments, bei denen keine GPU-Hardware verfügbar oder geeignet ist.

Die Modellauswahl ist Bestandteil jedes Engagements. Wir evaluieren Open-Weight-Modelle anhand Ihrer spezifischen Arbeitslast — Dokumentenanalyse, Code-Generierung, Zusammenfassung, Fragebeantwortung — und dimensionieren entsprechend. Wir setzen kein einzelnes Standardmodell ein und betrachten die Sache als erledigt.

RAG-Systeme auf Basis Ihrer Dokumente und internen Daten#

Retrieval-Augmented Generation verbindet Ihr LLM mit der Wissensbasis Ihrer Organisation. Statt sich ausschließlich auf das Trainingswissen des Modells zu verlassen, ruft das System relevanten Kontext aus Ihren internen Dokumenten ab — Verträge, klinische Leitlinien, Compliance-Richtlinien, Betriebsanleitungen — und bezieht diesen zur Abfragezeit in den Prompt ein.

Wir bauen RAG-Pipelines, die Ihre Dokumentformate aufnehmen (PDF, DOCX, HTML, Klartext), sie mit geeigneten Modellen segmentieren und einbetten, Vektoren in einer von Ihnen kontrollierten Datenbank speichern und zur Abfragezeit präzise abrufen. Das Ergebnis ist ein System, das Fragen zu Ihren spezifischen Daten beantwortet — nicht allgemeines Internetwissen.

Workflow-Automatisierung innerhalb Ihres Netzwerks#

Ein LLM in Isolation ist eine Chat-Oberfläche. Integriert in Ihre Workflows wird es zu einem operativen Werkzeug. Wir verbinden Self-Hosted-Inferenz mit internen Automatisierungspipelines auf Basis von n8n (Self-Hosted) oder eigenen Python-Orchestratoren und ermöglichen Anwendungsfälle wie:

• Automatisierte Dokumenten-Triage und -Klassifizierung
• Erstellung und Prüfung von Vorabgenehmigungen
• Extraktion und Markierung von Vertragsklauseln
• Bearbeitung von Mandantenaufnahmen
• Compliance-Monitoring anhand interner Richtliniendokumente

Die gesamte Automatisierung läuft innerhalb Ihres Netzwerks. Keine Daten werden im Rahmen des Workflows über externe Dienste übertragen.

Benutzeroberfläche und Zugriffskontrolle (Open WebUI, individuelle Portale)#

Ihr Team benötigt eine nutzbare Oberfläche. Wir setzen Open WebUI ein, eine leistungsfähige, selbst gehostete Chat-Oberfläche, konfiguriert mit LDAP- oder Active-Directory-Authentifizierung, sodass der Zugriff über Ihre bestehende Identitätsinfrastruktur gesteuert wird. Benutzer melden sich mit ihren Firmen-Zugangsdaten an. Berechtigungen sind rollenbasiert. Jede Sitzung und Abfrage wird in Ihrem Audit-Trail protokolliert.

Für Organisationen mit spezifischen Workflow-Anforderungen entwickeln wir individuelle Webportale, die KI-Funktionen im Kontext einer bestimmten Aufgabe bereitstellen — statt einer allgemeinen Chat-Oberfläche. Das reduziert den Schulungsaufwand und verbessert die Akzeptanz.

Sehen Sie das OpenClaw-Deployment-Fallbeispiel als Beispiel für ein individuelles Portal, das auf privater LLM-Infrastruktur aufgebaut wurde.

Wie wir es aufbauen#

Schritt 1: Infrastruktur- und Compliance-Bewertung#

Bevor wir einen Stack oder ein Modell empfehlen, müssen wir verstehen, welche Compliance-Anforderungen tatsächlich für Sie gelten, welche Daten verarbeitet werden und welche Infrastruktur Sie derzeit haben. Wir prüfen Ihre regulatorischen Verpflichtungen — HIPAA, DSGVO, PCI-DSS, SOC 2, FINRA oder eine Kombination — und leiten daraus architektonische Anforderungen ab. Wir identifizieren, mit welchen bestehenden Systemen die KI-Infrastruktur integriert werden muss und wo die Datengrenzen liegen müssen.

Dieser Schritt erzeugt ein schriftliches Scope-Dokument, das die Deployment-Architektur, Sicherheitskontrollen und Compliance-Positionierung definiert. Alle nachfolgenden Entscheidungen basieren darauf.

Schritt 2: Modellauswahl und Hardware-Dimensionierung#

Nicht jede Arbeitslast erfordert dasselbe Modell oder dieselbe Hardware. Wir evaluieren Ihren Anwendungsfall anhand verfügbarer Open-Weight-Modelloptionen und empfehlen, was für Ihre Arbeitslast und Ihr Budget angemessen dimensioniert ist. Ein Team von 15 Personen, das Dokumentenzusammenfassungen erstellt, hat andere Anforderungen als eine Kanzlei mit 300 Mitarbeitern, die gleichzeitig klinische Notizen entwirft.

Wir liefern Hardware-Spezifikationen — GPU-Anforderungen, RAM, Speicher, Netzwerkkonfiguration — und arbeiten mit Ihrem Infrastruktur-Team oder bevorzugtem Hardware-Lieferanten zusammen, um sicherzustellen, dass die Umgebung korrekt provisioniert wird, bevor wir mit dem Deployment beginnen.

Schritt 3: Deployment, Härtung und Integration#

Wir deployen und konfigurieren die Inferenz-Runtime, die RAG-Pipeline, die Automatisierungsschicht und die Benutzeroberfläche. Wir härten die Umgebung: Netzwerksegmentierung, Firewall-Regeln, verschlüsselte Volumes, Audit-Logging, rollenbasierte Zugriffskontrolle. Wir integrieren mit Ihrer Authentifizierungsinfrastruktur (LDAP, Active Directory, SAML) und verbinden die internen Systeme, die die KI-Workflows erreichen müssen.

Wir übergeben Ihnen keine Docker-Compose-Datei und eine README. Wir deployen in Ihre Umgebung, verifizieren, dass das System korrekt arbeitet, und dokumentieren, was gebaut wurde und warum.

Schritt 4: Benutzerzugang, Monitoring und Übergabedokumentation#

Das Deployment ist erst abgeschlossen, wenn Ihr Team es betreiben kann. Wir konfigurieren Monitoring — Modellgesundheit, Anfrage-Latenz, Fehlerraten — und richten Alerting ein, das zu Ihrer Betriebsstruktur passt. Wir erstellen eine Übergabedokumentation, die Systemarchitektur, Konfigurationsentscheidungen, Wartungsverfahren und den Modellaktualisierungsprozess abdeckt.

Wir bieten außerdem ein definiertes Support-Fenster nach der Übergabe. Die meisten Probleme treten in den ersten Wochen des Produktivbetriebs auf, daher bleiben wir in dieser Zeit erreichbar.

Tech Stack#

Wir sind nicht an eine einzelne Toolchain gebunden. Der folgende Stack repräsentiert unsere aktuellen Standard-Deployment-Komponenten — die Tools, die wir einsetzen, weil sie sich für private KI-Infrastruktur bewährt haben:

Inferenzschicht#

Schnittstellenschicht#

RAG und Retrieval#

Orchestrierung#

Sicherheit#

Jedes Deployment umfasst Netzwerksegmentierung, verschlüsselte Speicher-Volumes, rollenbasierte Zugriffskontrolle und zentralisiertes Audit-Logging. Sicherheit ist keine nachträgliche Ergänzung.

Branchenspezifische Deployments#

Gesundheitswesen: HIPAA-konforme KI für klinische Dokumentation, Vorabgenehmigungen und Abrechnungs-Workflows#

Die wertvollsten KI-Anwendungsfälle im Gesundheitswesen — klinische Dokumentation, Vorabgenehmigung, Abrechnungsprüfung — betreffen allesamt geschützte Gesundheitsinformationen (PHI). Diese Daten dürfen Ihr Netzwerk nicht verlassen. Ein BAA mit einem Cloud-Anbieter ändert den zugrundeliegenden Datenfluss nicht. Ein Self-Hosted-Deployment eliminiert den Datenfluss vollständig.

Wir bauen HIPAA-konforme Deployments, die PHI innerhalb Ihrer Umgebung verarbeiten. Erstellung klinischer Notizen, Generierung von Vorabgenehmigungsschreiben, Abrechnungscode-Prüfung und Beantwortung klinischer Leitlinienfragen — alles auf Ihrer Infrastruktur, auditierbar und im Rahmen Ihres Compliance-Programms verteidigbar.

Für eine detaillierte Darstellung, wie wir Deployments im Gesundheitswesen planen, sehen Sie den Leitfaden für Self-Hosted KI im Gesundheitswesen.

Recht: Dokumentenprüfung und Vertragsanalyse ohne Gefährdung des Anwaltsprivilegs#

Das SDNY-Urteil vom Februar 2026 macht das Risiko konkret: Nutzen Sie ein kommerzielles Cloud-Modell für privilegierte Dokumentenarbeit, haben Sie möglicherweise das Anwaltsprivileg für diese Dokumente zerstört. Die einzige architektonische Antwort besteht darin sicherzustellen, dass die KI niemals ein Drittsystem berührt.

Wir deployen private LLM-Infrastruktur für Anwaltskanzleien und Rechtsabteilungen, in denen Dokumentenprüfung, Vertragsanalyse und interne Recherche erfordern, dass Daten vollständig innerhalb des privilegierten Verhältnisses bleiben. Keine externe Verarbeitung. Keine Nutzungsbedingungen Dritter. Keine Aufbewahrungsrichtlinien außerhalb Ihrer Kontrolle.

Für Details zu branchenspezifischen Deployments im Rechtsbereich sehen Sie den Leitfaden für Self-Hosted KI im Rechtsbereich.

Finanzdienstleistungen: Konforme KI unter SEC Regulation S-P und FINRA Rule 3110#

Der Regulatory Oversight Report 2025 der FINRA benannte den Schutz von Kundeninformationen als primären KI-Risikobereich. SEC Regulation S-P regelt, wie Finanzdienstleister mit nicht-öffentlichen Kundendaten umgehen. Diese Daten über ein kommerzielles Cloud-Modell zu leiten, schafft ein Compliance-Risiko, das ein Richtliniendokument des Anbieters nicht auflösen kann.

Self-Hosted-Infrastruktur gibt Finanzdienstleistern KI-Fähigkeiten mit einer verteidigbaren Compliance-Positionierung: Daten bleiben in Ihrer Umgebung, Zugriffe werden protokolliert und sind auditierbar, und das System ist dokumentiert, um Prüfungsanfragen standzuhalten.

Für eine detaillierte Darstellung der Deployments im Finanzdienstleistungsbereich sehen Sie den Leitfaden für Self-Hosted KI im Finanzdienstleistungsbereich.

Self-Hosted vs. Cloud-KI: die realen Abwägungen#

Wir versuchen nicht, Ihnen Self-Hosted-Infrastruktur zu verkaufen, wenn Cloud-KI tatsächlich die richtige Wahl für Ihre Arbeitslast ist. Manche Situationen erfordern es, manche nicht. Hier eine ehrliche Aufschlüsselung.

Wann Self-Hosted günstiger ist (und wann nicht)#

Cloud-KI-APIs berechnen pro Token. Bei geringen Volumen sprechen die wirtschaftlichen Argumente klar für die Cloud: keine Hardware, kein Betrieb, keine Wartung. Für explorative Nutzung, Prototyping oder Arbeitslasten unter 10-20 Millionen Token pro Monat wird eine Cloud-API auf Gesamtkostenbasis fast immer günstiger sein.

Bei hohen Volumen kehrt sich die Rechnung um. IDC-Daten aus 2025 zeigen, dass Organisationen, die 100 Millionen oder mehr Token pro Monat verarbeiten, jährlich 5 bis 50 Millionen US-Dollar einsparen können, indem sie hochvolumige regulierte Arbeitslasten auf Self-Hosted-Infrastruktur verlagern. Der Break-Even-Punkt hängt von Ihrem spezifischen Modell, den Hardwarekosten und dem operativen Overhead ab — aber für jede Organisation mit kontinuierlichen, hochvolumigen KI-Workflows lohnt sich die Berechnung.

Für eine detaillierte Analyse sehen Sie unseren Vergleich Self-Hosted KI vs. Cloud-KI.

Wenn die Compliance-Anforderung die Entscheidung für Sie trifft#

Wenn Ihre Daten HIPAA unterliegen, dem Anwaltsprivileg unterstehen oder nicht-öffentliche Kundenfinanzinformationen gemäß Reg S-P darstellen, ist die Frage möglicherweise überhaupt keine wirtschaftliche. Die Architektur wird durch die regulatorische Anforderung bestimmt. Eine Cloud-API mit BAA ist nicht dasselbe wie Daten, die Ihren Perimeter nie verlassen — und für einige Arbeitslasten ist nur Letzteres konform.

Das SDNY-Urteil ist hier aufschlussreich. Das Gericht hat nicht die Sicherheitslage des KI-Anbieters bewertet. Es hat bewertet, ob die Kommunikation konstruktionsbedingt privat war. Eine Cloud-API ist konstruktionsbedingt nicht privat. Ein Self-Hosted-Deployment ist es.

Wie der laufende Betrieb nach dem Deployment tatsächlich aussieht#

Self-Hosted-Infrastruktur erfordert echte Wartung — und es hilft, mit klaren Erwartungen einzusteigen. Modelle müssen aktualisiert werden, wenn bessere Versionen erscheinen. Hardware muss überwacht werden. Sicherheitspatches müssen eingespielt werden. Dieser operative Aufwand ist real, und Cloud-APIs eliminieren ihn.

Wir bauen Deployments so, dass sie von einer einzelnen technisch fähigen Person gewartet werden können — einem erfahrenen IT-Administrator, DevOps-Engineer oder internen Entwickler — ohne spezialisiertes Wissen über KI-Infrastruktur. Wir dokumentieren das Operations-Runbook, definieren den Aktualisierungsrhythmus und bleiben für Support erreichbar. Der Aufwand ist handhabbar, aber nur, wenn das initiale Deployment ordnungsgemäß durchgeführt wurde.

Lesen Sie den Self-Hosted KI Setup-Leitfaden für einen praxisnahen Einblick in den laufenden Wartungsaufwand.

Preise#

Self-Hosted KI-Infrastruktur wird projektbezogen kalkuliert. Die Variablen, die die Kosten bestimmen:

• Anzahl der Nutzer und Anforderungen an gleichzeitige Last
• Volumen und Komplexität der Dokumente für die RAG-Aufnahme
• Anzahl der zu erstellenden Workflow-Automatisierungen
• Ob die Hardwarebeschaffung im Umfang enthalten ist
• Regulatorische Anforderungen und benötigte Compliance-Dokumentation

Infrastruktur-Bewertung und Architektur-Scoping: Festpreis. Dies ist der Ausgangspunkt jedes Engagements — ein definiertes Dokument, das die Architektur, Compliance-Positionierung und den Deployment-Plan festlegt, bevor Bauarbeiten beginnen.

Deployment und Integration: Projektbasiert, auf Grundlage des Architekturdokuments kalkuliert. Die meisten Full-Stack-Deployments dauern 6 bis 14 Wochen, abhängig von Integrationskomplexität und organisatorischer Bereitschaft.

Support- und Wartungsverträge: Nach dem Deployment verfügbar für Teams, die laufende Abdeckung für Modellaktualisierungen, Systemgesundheit und betriebliche Änderungen wünschen.

Wir veröffentlichen keine Preistabelle, weil der Umfang von Organisation zu Organisation erheblich variiert. Das Infrastruktur-Audit ist der richtige erste Schritt: ein klar abgegrenztes Engagement mit Festpreis, das ein schriftliches Architekturdokument produziert, das Ihnen gehört — unabhängig davon, was Sie als Nächstes entscheiden.

FAQ#

Was ist Self-Hosted KI-Infrastruktur und wann brauchen Sie sie?

Self-Hosted KI-Infrastruktur ist ein privates LLM-Deployment, das vollständig innerhalb Ihrer eigenen Umgebung läuft — auf Ihrer Hardware, in Ihrem Netzwerk, ohne externe API-Aufrufe. Sie benötigen sie, wenn Ihre Daten regulatorischen Anforderungen unterliegen, die eine Verarbeitung durch Dritte verbieten oder einschränken (HIPAA, Anwaltsprivileg, SEC Reg S-P), wenn Ihre Token-Volumen die Kosten einer Cloud-API untragbar machen oder wenn Ihre Organisation aus rechtlichen, vertraglichen oder sicherheitstechnischen Gründen vollständige Datensouveränität erfordert.

Ist Self-Hosted KI HIPAA-konform?

Ein korrekt architekturiertes Self-Hosted-Deployment erfüllt die HIPAA-Anforderungen für den Umgang mit PHI konstruktionsbedingt. Da PHI niemals Ihre kontrollierte Umgebung verlassen, gibt es keine Datenübertragung an Dritte zu regeln, keine BAA-Abhängigkeit und keine externe Aufbewahrungsrichtlinie zu verwalten. Die Architektur ist der Compliance-Mechanismus. Allerdings erfordert HIPAA-Compliance mehr als die richtige Infrastruktur. Sie benötigen außerdem angemessene Zugriffskontrollen, Audit-Logging und administrative Schutzmaßnahmen — all das bauen wir in jedes Healthcare-Deployment ein.

Welche Tools werden für das Deployment eines Self-Hosted LLM verwendet?

Unser Standard-Stack verwendet Ollama oder vLLM für die Inferenz (je nach Arbeitslast), Open WebUI für die Benutzeroberfläche, LangChain mit ChromaDB oder pgvector für RAG-Pipelines und n8n (Self-Hosted) oder eigene Python-Agenten für die Workflow-Automatisierung. Alle Komponenten sind Open Source und laufen vollständig innerhalb Ihrer Umgebung.

Was kostet das Deployment eines privaten On-Premise-LLM?

Die Hardwarekosten variieren erheblich je nach den Modellen, die Sie betreiben müssen, und der gleichzeitigen Last, die Sie unterstützen müssen. Ein Team-Deployment mit einem mittelgroßen Modell (7B-13B Parameter) auf einem einzelnen GPU-Server kann für 10.000-25.000 US-Dollar an Hardware provisioniert werden. Produktionsdeployments mit höherem Durchsatz oder größeren Modellen skalieren von dort aus. Software- und Deployment-Kosten werden pro Engagement kalkuliert; die Infrastruktur-Bewertung ist der richtige erste Schritt, um eine reale Zahl zu erhalten.

Wann wird Self-Hosted KI günstiger als Cloud-KI-APIs?

Der Break-Even-Punkt hängt von Ihrem Token-Volumen, dem spezifischen Modell und Ihren Hardware- und Betriebskosten ab. Als allgemeiner Referenzpunkt zeigen IDC-Daten aus 2025, dass Organisationen, die 100 Millionen oder mehr Token pro Monat verarbeiten, jährlich 5 bis 50 Millionen US-Dollar einsparen können, indem sie auf Self-Hosted-Infrastruktur umsteigen. Für die meisten Teams, die weniger als 10-20 Millionen Token pro Monat verarbeiten, bleiben Cloud-APIs auf Gesamtkostenbasis günstiger.

Welche Open-Weight-Modelle können Sie deployen?

Wir deployen jedes Open-Weight-Modell, das auf Ollama oder vLLM läuft, einschließlich der Llama-Familie, Mistral, Qwen, Phi, Gemma, DeepSeek und weiterer. Die Modellauswahl ist Bestandteil des Engagement-Scoping-Prozesses. Wir evaluieren Ihren Anwendungsfall, die Anforderungen an das Kontextfenster und die Performance-Anforderungen anhand der aktuellen Modelloptionen und geben eine spezifische Empfehlung ab.

Übernehmen Sie die Hardwarebeschaffung?

Ja, das können wir. Für Kunden ohne bestehenden GPU-Beschaffungsprozess arbeiten wir mit Hardware-Lieferanten zusammen, um die richtige Konfiguration zu spezifizieren und zu beschaffen. Für Kunden mit bestehenden IT-Beschaffungsbeziehungen liefern wir detaillierte Hardware-Spezifikationen und beraten bei der Konfiguration. In jedem Fall wird die Hardware-Bereitschaft vor Deployment-Beginn bestätigt.

Wenn Ihre Arbeitslast regulierte Daten umfasst und Sie verstehen möchten, wie ein konformes privates Deployment für Ihre Organisation aussieht, ist das Infrastruktur-Audit der richtige Ausgangspunkt.

Infrastruktur-Audit anfragen

Das Audit ist ein klar abgegrenztes Engagement: ein definierter Umfang, ein Festpreis und eine schriftliche Leistung — ein Architekturdokument, das Ihnen gehört, unabhängig davon, was Sie als Nächstes bauen möchten.