KI On-Premise: Sprachmodelle im eigenen Rechenzentrum
Für Organisationen, deren Daten das eigene Netz nicht verlassen dürfen, betreibt Evoya AI Sprachmodelle direkt auf Ihren Servern. Sie nutzen KI-Chat, Suche über interne Dokumente und KI-Agenten, ohne dass ein externer Cloud-Dienst Ihre Daten verarbeitet.
Was bedeutet KI On-Premise?
KI On-Premise heisst: Das Sprachmodell (LLM) und die Anwendung dazu laufen auf Servern, die Ihre Organisation selbst betreibt, im eigenen Rechenzentrum oder in einem Serverraum, den Sie kontrollieren. Eingaben, Dokumente und Ergebnisse bleiben in Ihrem Netz. Kein Cloud-Anbieter verarbeitet sie, und sie werden nie zum KI-Training verwendet.
Möglich machen das offene Modelle, deren Gewichte frei verfügbar sind, etwa das Schweizer Modell Apertus, Mistral, Llama oder Qwen. Sie lassen sich auf eigenen GPU-Servern betreiben und über eine interne Schnittstelle nutzen.
Brauchen Sie keine eigene Hardware, aber trotzdem eine kontrollierte Umgebung, ist Private KI in einer dedizierten Schweizer Cloud oft die einfachere Lösung. Wir beraten Sie, welcher Weg zu Ihnen passt.
Wann sich KI On-Premise lohnt
On-Premise ist nicht für jede Organisation die richtige Wahl. In diesen Situationen ist es oft die sauberste Lösung.
Strenge regulatorische Vorgaben
Gesundheitsdaten, Mandatsdaten unter Berufsgeheimnis oder Daten von Bürgerinnen und Bürgern: Wenn Vorgaben den Verarbeitungsort festlegen, bleibt die KI im eigenen Netz.
Interne Richtlinie: Betrieb im eigenen Rechenzentrum
Viele IT-Abteilungen erlauben für vertrauliche Daten keine externen Dienste. On-Premise passt in diese Sicherheitszone, mit Ihren Firewalls und Ihrem Monitoring.
Netze ohne Internetzugang
Ein lokal betriebenes Modell braucht für die Antworten keine Verbindung nach aussen. Das eignet sich für abgeschottete Netze in Industrie, Verwaltung oder Forschung.
Geschäftsgeheimnisse
Konstruktionsdaten, Rezepturen, Verträge oder Strategiepapiere sind geistiges Eigentum. Die KI analysiert sie, ohne dass sie das Unternehmen verlassen.
Hohes, gleichmässiges Volumen
Auf eigener Hardware zahlen Sie nicht pro Anfrage. Bei vielen Nutzenden und gleichmässiger Last werden die Kosten dadurch besser planbar.
Unabhängigkeit vom Anbieter
Offene Modelle lassen sich austauschen, ohne die Anwendung neu zu bauen. Preis- oder Richtlinienänderungen eines Cloud-Anbieters betreffen Sie nicht direkt.
On-Premise, Private Cloud oder Plattform?
Drei Wege zu KI mit Datenhoheit. Welcher passt, hängt von Ihren Daten, Ihrer IT und Ihrem Budget ab.
| KI On-Premise | Private KI (dedizierte Schweizer Cloud) | Evoya-Plattform | |
|---|---|---|---|
| Wo werden die Daten verarbeitet? | In Ihrem Rechenzentrum | Auf Servern in der Schweiz, die nur für Sie reserviert sind | In der Schweiz oder der EU, je nach Modell; im Swiss Mode vollständig in der Schweiz |
| Wer betreibt die Hardware? | Sie, oder wir in Ihrem Auftrag | Evoya AI | Evoya AI |
| Modelle | Offene Modelle wie Apertus, Mistral, Llama, Qwen | Offene Modelle wie Apertus, Mistral, Llama, Qwen | Über 30 Modelle, darunter ChatGPT, Claude und Schweizer Open-Source-Modelle |
| Start | Projekt mit Hardware-Beschaffung | Projekt ohne eigene Hardware | Sofort, 14 Tage kostenlos |
| Passt für | Strengste Vorgaben, abgeschottete Netze | Sensible Daten ohne eigenen GPU-Betrieb | Die meisten Teams und Anwendungsfälle |
Mehr zur dedizierten Cloud lesen Sie auf der Seite Private KI, zur Plattform unter Sicherheit & Datenschutz.
Welche Hardware braucht KI On-Premise?
Entscheidend ist die Grösse des Modells. Ein Modell mit 8 Milliarden Parametern stellt ganz andere Anforderungen als eines mit 70 Milliarden.
| Modellgrösse | Beispiele | Richtwert Hardware | Geeignet für |
|---|---|---|---|
| Klein (bis ca. 8 Mrd. Parameter) | Apertus 8B, Llama 3.1 8B | Ein Server mit einer GPU | Zusammenfassen, Klassifizieren, Auskunft aus Dokumenten für kleinere Teams |
| Gross (ca. 70 Mrd. Parameter) | Apertus 70B, Llama 3.1 70B | Ein Server mit mehreren Rechenzentrums-GPUs | Anspruchsvollere Texte, mehr Nutzende gleichzeitig, KI-Agenten |
Das sind Richtwerte. Wie viel Hardware Sie wirklich brauchen, hängt von der Zahl gleichzeitiger Nutzender, der gewünschten Antwortzeit, der Länge der Dokumente und davon ab, ob das Modell komprimiert (quantisiert) betrieben wird. Wir rechnen das im Projekt mit Ihren Anwendungsfällen durch, inklusive Kosten und ROI.
So setzen wir KI On-Premise um
Wir beginnen beim Anwendungsfall, nicht bei der Hardware. Daraus ergibt sich, welches Modell und welche Infrastruktur nötig sind.
-
1
Bedarfsanalyse und ROI
Wir klären, welche Aufgaben die KI übernehmen soll, welche Daten im Spiel sind und welche Vorgaben gelten. Dazu gehört eine ROI-Rechnung, damit klar ist, ob sich der eigene Betrieb lohnt.
-
2
Modell testen
Wir testen passende offene Modelle mit Ihren Beispieldaten und zeigen, welche Qualität Sie erwarten können, bevor Hardware gekauft wird.
-
3
Architektur planen
Wir entwerfen die Architektur mit Ihrem IT-Team: Server, Netz, Anbindung an Active Directory und bestehende Systeme, klare Trennung von Daten, Modell und Anwendung.
-
4
Installieren und integrieren
Wir richten Modellserver, Anwendung, Zugriffsrechte, Protokollierung und Monitoring ein und testen Qualität, Antwortzeiten und Sicherheit im Echtbetrieb.
-
5
Betrieb und Updates
Neue Modellversionen erscheinen laufend. Wir prüfen sie mit Ihren Anwendungsfällen und spielen sie kontrolliert ein, oder befähigen Ihr IT-Team, das selbst zu tun.
Was bei Ihnen On-Premise laufen kann
Nicht nur ein Modell auf einem Server, sondern Anwendungen, mit denen Ihr Team arbeitet.
Offene Sprachmodelle
- Apertus (Swiss AI Initiative)
- Mistral
- Llama (Meta)
- Qwen
- Gemma (Google)
Anwendungen
- KI-Chat für das ganze Team
- Suche und Auskunft über interne Dokumente (RAG)
- KI-Agenten mit Zugriff auf Ihre Systeme
- Transkription inkl. Schweizerdeutsch
Integration
- Active Directory und Rollen
- Schnittstellen (APIs) und MCP
- ERP, CRM und Dateiablagen
Betrieb und Sicherheit
- GPU- und Inferenz-Server
- Protokollierung und Monitoring
- Kontrollierte Modell-Updates
- Keine Nutzung der Daten zum KI-Training
Ihr Partner für KI On-Premise in der Schweiz
Eigene KI-Plattform
Evoya AI betreibt eine eigene Plattform mit über 30 Sprachmodellen. Was dort funktioniert, bringen wir auf Wunsch in Ihre Infrastruktur, statt bei null anzufangen.
Erfahrung aus Schweizer Softwareprojekten
Unser Team bringt über 25 Jahre Erfahrung in Softwareprojekten für Schweizer Unternehmen mit, von der Architektur bis zum Betrieb.
Gemeinsam mit Ihrer IT
Wir planen Betrieb und Zuständigkeiten mit Ihrem IT-Team, damit die Lösung langfristig betreibbar bleibt, mit oder ohne uns.
Projekte mit Datenhoheit
Für die Integrierte Psychiatrie Winterthur läuft die Datenverarbeitung zu 100 % in der Schweiz. Für ASTORtec arbeitet Mistral auf souveräner EU-Infrastruktur.
Häufige Fragen zu KI On-Premise
KI On-Premise bedeutet, dass ein Sprachmodell und die Anwendung dazu auf Servern laufen, die eine Organisation selbst betreibt. Die Daten verlassen das eigene Netz nicht und werden nicht von einem Cloud-Anbieter verarbeitet. Grundlage sind offene Modelle wie Apertus, Mistral, Llama oder Qwen.
Bei On-Premise steht die Hardware in Ihrem eigenen Rechenzentrum. Bei Private KI laufen die Modelle auf Servern in einer Schweizer Cloud, die nur für Sie reserviert sind. Beide halten Ihre Daten in einer kontrollierten Umgebung; Private KI kommt ohne eigene GPU-Server aus.
Alle Modelle mit frei verfügbaren Gewichten, zum Beispiel das Schweizer Modell Apertus, Mistral, Llama, Qwen oder Gemma. Kommerzielle Modelle wie die von OpenAI oder Anthropic gibt es nur als Cloud-Dienst; sie lassen sich nicht im eigenen Rechenzentrum installieren.
Die grössten kommerziellen Modelle sind bei komplexen Aufgaben meist noch stärker. Für klar umrissene Aufgaben wie Zusammenfassen, Klassifizieren, Daten extrahieren oder Antworten aus internen Dokumenten erreichen aktuelle offene Modelle oft eine gute Qualität. Wir testen deshalb vor dem Entscheid mit Ihren eigenen Beispieldaten.
Die Kosten hängen vor allem von der Modellgrösse, der Zahl gleichzeitiger Nutzender und vom Betriebsmodell ab: Hardware, Einrichtung und laufender Betrieb. In der Bedarfsanalyse rechnen wir das mit Ihnen durch, inklusive ROI. Oft zeigt sich dabei, dass eine dedizierte Schweizer Cloud günstiger startet.
Ja. Ein lokal betriebenes Modell braucht für die Antworten keine Verbindung nach aussen. Nur für Updates von Modell und Software müssen Dateien kontrolliert ins Netz gebracht werden.
Das vereinbaren wir mit Ihnen. Evoya AI kann Betrieb, Monitoring und Modell-Updates übernehmen oder Ihr IT-Team dafür befähigen. Neue Modellversionen werden vor dem Einsatz mit Ihren Anwendungsfällen getestet.
KI On-Premise für Ihre Organisation planen
Schildern Sie uns Ihren Anwendungsfall und Ihre Vorgaben. Wir zeigen Ihnen, ob On-Premise, Private Cloud oder die Plattform für Sie die richtige Wahl ist.