Lokale KI in der Schweiz: Modelle, Hardware und Datenschutz

Was ist lokale KI?

Lokale KI ist künstliche Intelligenz, die auf Rechnern im eigenen Unternehmen läuft. Fragen, Dokumente und Antworten bleiben im Haus und gehen an keinen Anbieter ausserhalb.

Im Kern steckt ein Sprachmodell, wie es auch hinter ChatGPT arbeitet. Bei lokaler KI liegt dieses Modell auf einem eigenen Server oder Arbeitsplatzrechner und rechnet dort. Fachleute sprechen von On-Premise, also vom Betrieb in den eigenen Räumen. Auf Englisch heisst das Local AI, in der Schweiz ist auch lokale AI geläufig.

Bei Cloud-KI wie ChatGPT, Gemini oder Claude gehen Eingaben und hochgeladene Dateien über das Internet an den Anbieter. Das Modell rechnet in dessen Rechenzentrum. Was dort mit den Daten geschieht, regeln die Bedingungen des Anbieters.

Davon zu unterscheiden sind KI-Dienste in Schweizer Rechenzentren. Dort bleiben die Daten zwar in der Schweiz, sie liegen aber bei einem anderen Unternehmen. Bei lokaler KI im engen Sinn verlassen die Daten das eigene Unternehmen nicht. Das Unternehmen bestimmt selbst über seine Daten und Werkzeuge. Das ist mit digitaler Souveränität gemeint.

Wohin Daten bei Cloud-KI gehen und was der Datenschutz in der Schweiz verlangt

Die bekanntesten KI-Dienste wie ChatGPT stammen von Unternehmen aus den USA, etwa von OpenAI, Google, Microsoft und Anthropic. Dazu kommen Anbieter aus China wie DeepSeek.

In den USA gilt seit 2018 der CLOUD Act. Danach können US-Anbieter verpflichtet werden, Daten an US-Behörden herauszugeben, auch wenn die Daten ausserhalb der USA gespeichert sind. Ein Rechenzentrum in Europa oder in der Schweiz schliesst das nicht aus, wenn der Anbieter dem US-Recht untersteht.

Seit dem 15. September 2024 anerkennt der Bundesrat für die USA ein angemessenes Datenschutzniveau. Das gilt nur für Unternehmen, die nach dem Swiss-US Data Privacy Framework zertifiziert sind. Der Beschluss kann widerrufen werden.

DeepSeek schreibt in seiner Datenschutzerklärung, dass es Personendaten in der Volksrepublik China erhebt, verarbeitet und speichert. Die polnische Datenschutzbehörde hat im Februar 2025 zur Vorsicht bei der Nutzung von DeepSeek geraten. Sie verwies unter anderem darauf, dass Daten auf Servern in China gespeichert werden können.

In der Schweiz gilt seit dem 1. September 2023 das revidierte Datenschutzgesetz (DSG). Es schützt Personendaten, also alle Angaben, die sich auf eine bestimmte oder bestimmbare natürliche Person beziehen. Für besonders schützenswerte Personendaten wie Angaben zur Gesundheit gelten strengere Regeln.

Nach Artikel 16 DSG dürfen Personendaten ins Ausland bekanntgegeben werden, wenn der Bundesrat festgestellt hat, dass der betreffende Staat einen angemessenen Schutz bietet. Die Liste dieser Staaten steht im Anhang 1 der Datenschutzverordnung. Fehlt ein solcher Entscheid, braucht es andere Garantien, zum Beispiel vom EDÖB anerkannte Standardvertragsklauseln, oder es muss eine der Ausnahmen nach Artikel 17 DSG greifen. Über die Bekanntgabe ins Ausland müssen die betroffenen Personen informiert werden. Diese Regeln kommen ins Spiel, wenn ein Unternehmen Personendaten in einen KI-Dienst eingibt, der sie im Ausland verarbeitet.

Läuft die KI auf eigener Hardware in der Schweiz, gibt das Unternehmen für die KI keine Personendaten ins Ausland bekannt. Das DSG gilt trotzdem. Der EDÖB hält fest, dass das Gesetz technologieneutral ist und direkt auf Datenbearbeitungen mit KI anwendbar ist.

Dieser Abschnitt ist eine Übersicht und keine Rechtsberatung. Ob eine bestimmte Nutzung zulässig ist, klären Sie mit einer Fachperson für Datenschutzrecht.

Wie lokale KI funktioniert

Eine lokale KI besteht aus vier Bausteinen: der Hardware, dem Sprachmodell, der Oberfläche und der Anbindung eigener Daten.

Die Hardware ist ein Rechner oder Server mit leistungsfähiger Grafikkarte oder mit einem Chip, bei dem Prozessor und Grafikeinheit denselben schnellen Speicher nutzen. Er steht im Unternehmen, etwa im Serverraum, und ist über das interne Netz erreichbar. Darauf liegt das Sprachmodell als grosse Datei mit den gelernten Gewichten. Ein Laufzeitprogramm wie Ollama lädt diese Datei und berechnet damit die Antworten.

Die Mitarbeitenden arbeiten mit einer Oberfläche. Das kann ein Chatfenster im Browser sein, ähnlich wie bei ChatGPT, oder eine Funktion in einem Programm, das sie schon nutzen.

Die Anbindung eigener Daten verbindet das Modell mit Dokumenten, Ablagen und Programmen des Unternehmens. Ein Sprachmodell kennt Ihre Preise, Verträge oder Weisungen nämlich nicht. Meist kommt dafür ein Verfahren namens RAG zum Einsatz. Die Abkürzung steht für Retrieval-Augmented Generation, auf Deutsch etwa «Antworten mit Nachschlagen».

RAG arbeitet in zwei Schritten. Zuerst sucht das System in Ihren Dokumenten die Stellen, die zur Frage passen. Dann formuliert das Modell aus diesen Stellen die Antwort und kann angeben, aus welchem Dokument sie stammt. Neue Dokumente sind nach dem Einlesen sofort auffindbar, ohne dass das Modell neu trainiert wird.

Zur Anbindung gehören auch die Zugriffsrechte. Eine Mitarbeiterin im Verkauf soll über die KI keine Lohnliste finden, die sie im Ordner auch nicht öffnen dürfte.

Welche lokalen KI-Modelle es gibt

Für lokale KI kommt meist ein offenes Modell zum Einsatz, dessen Gewichte der Hersteller zum Herunterladen freigibt. Viele Hersteller veröffentlichen nur die Gewichte und nicht die Trainingsdaten. Fachleute sprechen dann von offenen Gewichten statt von Open Source. Einzelne Hersteller wie Mistral AI oder Google bieten ausserdem kommerzielle Modelle für den Betrieb im eigenen Rechenzentrum an.

Bekannte Modellfamilien kommen aus der Schweiz (Apertus), aus Frankreich (Mistral), aus China (DeepSeek, Qwen, Kimi, GLM) und aus den USA (Gemma, Llama, gpt-oss, Phi). Die Tabelle unten zeigt den Stand im Oktober 2026. Die Lizenzen unterscheiden sich. Vor dem Einsatz gehört darum die Prüfung dazu, ob eine Lizenz die geschäftliche Nutzung erlaubt.

Stand 25. Oktober 2026. Angaben laut den Herstellern. Belege unter Quellen.

Läuft ein Modell aus China auf einem eigenen Server, gehen keine Daten nach China. Für den Datenweg zählt der Ort, an dem ein Modell läuft, nicht die Herkunft des Herstellers.

Welches Modell passt, hängt von der Aufgabe, der Sprache Ihrer Texte und der vorhandenen Hardware ab. Ranglisten veralten schnell, weil neue Versionen einander in kurzen Abständen ablösen. Aussagekräftiger ist ein Test mit Beispielen aus Ihrem eigenen Alltag.

Apertus, ein offenes Sprachmodell aus der Schweiz

Apertus ist ein Schweizer KI-Modell. Entwickelt haben es die EPFL und die ETH Zürich im Rahmen der Swiss AI Initiative, trainiert wurde es auf dem Supercomputer Alps des Nationalen Hochleistungsrechenzentrums CSCS in Lugano. Die erste Fassung erschien am 2. September 2025 in zwei Grössen mit 8 und 70 Milliarden Parametern, trainiert mit rund 15 Billionen Token aus über 1000 Sprachen, darunter Schweizerdeutsch und Rätoromanisch.

Seit dem 24. Juli 2026 gibt es Apertus 1.5, wieder mit 8 und 70 Milliarden Parametern. Diese Fassung verarbeitet neben Text auch Bilder und, laut Hersteller noch experimentell, Audio. Sie liest bis zu 262 144 Token auf einmal, viermal so viel wie die erste Fassung, und damit auch lange Verträge oder Handbücher in einem Durchgang. Dazu kommen kleine Modelle der Reihe Apertus 1.1 Mini von 0,5 bis 4 Milliarden Parametern, die nur Text verarbeiten.

Bei Apertus sind die Gewichte und die Trainingsdaten offen. Laut Modellkarte steht es unter der Lizenz Apache 2.0. Wer Apertus 1.5 herunterlädt, stimmt zusätzlich einer Nutzungsrichtlinie vom 14. Juli 2026 zu. Sie verlangt unter anderem, ETH Zürich und EPFL von Ansprüchen Dritter freizustellen. Diese Pflicht sollten Sie vor dem Einsatz im Unternehmen prüfen.

Die Gewichte lassen sich bei Hugging Face herunterladen. In der offiziellen Bibliothek von Ollama steht Apertus nicht, dort gibt es Uploads von Nutzern. Auch die Fassungen für llama.cpp, Ollama und LM Studio, auf die die Modellkarte verweist, stammen von Dritten und verarbeiten nur Text. Ob Bild und Audio von Apertus 1.5 lokal mit gängigen Werkzeugen laufen, ist noch nicht belegt.

Welche Hardware lokale KI braucht

Wie viel Hardware es braucht, um KI lokal zu betreiben, hängt vor allem von der Grösse des Modells ab. Sie wird in Parametern angegeben, und jeder Parameter belegt Speicher. Apertus mit 70 Milliarden Parametern braucht darum ein Vielfaches des Speichers der Variante mit 8 Milliarden. Ohne Quantisierung belegen allein die Gewichte von Apertus 1.5 8B rund 18 GB Grafikspeicher, das 70B-Modell betreibt der Hersteller in seinem Beispiel auf vier Grafikkarten. Die Entwickler beschreiben die kleinere Variante als geeignet für den Einzelgebrauch. Für schnelle Antworten muss das ganze Modell in den Grafikspeicher passen. Bei Rechnern, deren Prozessor und Grafikeinheit sich einen Speicher teilen, etwa bei Macs mit Apple-Chip, zählt dieser gemeinsame Speicher.

Mit der sogenannten Quantisierung lässt sich der Bedarf senken. Dabei werden die Gewichte mit weniger Stellen gespeichert. Das Modell wird kleiner und etwas ungenauer. Passt ein Modell nicht in den Grafikspeicher, rechnet ein Teil davon auf dem Hauptprozessor, und die Antworten kommen deutlich langsamer.

Mehr Rechenleistung braucht es auch, wenn viele Personen gleichzeitig Fragen stellen oder das Modell lange Dokumente auf einmal lesen soll.

Daraus ergeben sich zwei übliche Varianten. Ein Arbeitsplatzrechner mit starker Grafikkarte oder viel gemeinsamem Speicher reicht für erste Versuche und für wenige Nutzer. Für ein ganzes Team oder mehrere Abteilungen kommt ein Server mit einer oder mehreren Grafikkarten in den Serverraum.

Preise für Hardware nennen wir hier nicht, weil sie von Modell, Nutzerzahl und Marktlage abhängen.

Lokale KI und Cloud-KI im Vergleich

Lokale KI und Cloud-KI unterscheiden sich vor allem darin, wo die Daten verarbeitet werden.

Was lokale KI kostet

Die Kosten einer lokalen KI setzen sich aus der Einführung, der Hardware und dem laufenden Betrieb zusammen.

Zur Einführung gehören Analyse, Konzept, Einrichtung und Schulung. Was das Erstgespräch und ein Tag bei lokal-ai.ch kosten, steht auf der Startseite unter Preise.

Die Hardware ist eine einmalige Ausgabe. Ihre Höhe hängt von der Grösse des Modells und der Zahl der Nutzer ab. Lässt sich vorhandene Hardware nutzen, fällt dieser Teil kleiner aus oder ganz weg.

Im laufenden Betrieb kommen Strom, Wartung und Updates dazu. Neue Modellversionen und Sicherheitsupdates müssen eingespielt werden. Das kann Ihre eigene IT übernehmen, oder lokal-ai.ch betreut die Lösung nach dem Go-live.

Für welche Aufgaben sich lokale KI eignet

Lokale KI lohnt sich vor allem dort, wo vertrauliche Daten im Spiel sind. Das betrifft zum Beispiel das Personalwesen mit Bewerbungen und Lohnangaben, den Kundendienst mit Kundendaten und Betriebe, die mit Gesundheitsdaten arbeiten. Wie gut eine lokale KI eine Aufgabe löst, hängt vom Modell und von der Hardware ab.

Die KI lässt sich auch an Programme anbinden, die Sie schon nutzen.

Typische Aufgaben für eine lokale KI im Unternehmen sind diese.

• Fragen an interne Dokumente stellen, mit Angabe der Fundstelle.
• Texte schreiben und zusammenfassen in einem internen KI-Chat statt in privaten ChatGPT-Konten.
• Vertrauliche Dokumente zwischen Deutsch, Französisch, Italienisch und Englisch übersetzen.
• E-Mails sortieren und Antworten zur Freigabe entwerfen.
• Kundenanfragen mit einem KI-Chatbot oder Telefonassistenten entgegennehmen.
• Rechnungen und Spesenbelege auslesen und an die Buchhaltung übergeben.
• Sitzungen transkribieren und Protokolle entwerfen.
• Verträge mit der eigenen Checkliste vergleichen und Abweichungen markieren.
• Arbeitszeugnisse, Stelleninserate und Offerten als Entwurf schreiben.
• Mit einem Code-Assistenten programmieren, ohne dass der Quellcode das Haus verlässt.
• Wiederkehrende Abläufe über mehrere Programme von KI-Agenten vorbereiten lassen und vor dem Abschluss freigeben.

Wie lokal-ai.ch lokale KI im Unternehmen einführt

lokal-ai.ch ist auf lokale KI für Unternehmen in der Schweiz spezialisiert. Wir beraten Sie, führen das Projekt in Ihrem Unternehmen bis zum Go-live und begleiten Sie danach weiter.

Sie sprechen direkt mit den Leuten, die Ihre Lösung bauen, ohne Vertrieb dazwischen. Wir holen zuerst das Maximum aus der Infrastruktur heraus, die Sie schon haben. Ein Softwarewechsel ist erst ein Thema, wenn es keine andere Möglichkeit gibt. Wo kein fertiger Baustein passt, programmieren wir selbst.

lokal-ai.ch arbeitet vor allem in Aargau, Zürich und der Region Basel und in der ganzen Schweiz. Einen Überblick über unser Angebot finden Sie auf der Seite Lokale KI für Unternehmen.

Je nach Projekt schulen wir Ihr Team an der neuen Lösung. Dazu bieten wir KI-Schulungen von den Grundlagen bis zum fortgeschrittenen Niveau an, mit eigenen Programmen für Mitarbeitende und für das Management.

Am Anfang steht ein kostenloses Erstgespräch von 15 Minuten. Sie fragen es über das Formular an und vereinbaren danach einen Termin. Nach dem Erstgespräch folgen fünf Schritte.

1. In der Ist-Analyse klären wir, welche Aufgaben die KI übernehmen soll, welche Daten dabei im Spiel sind und welche Programme und Geräte Sie schon haben.
2. Im Soll-Konzept erarbeiten wir, wofür die KI eingesetzt wird und was wir dafür bauen. Bei einer lokalen KI gehören dazu das Modell, die Hardware, die angebundenen Daten und die Zugriffsrechte. Für verschiedene Aufgaben können auch verschiedene Modelle laufen.
3. In der gemeinsamen Runde gehen wir das Konzept mit Ihnen durch. Sie entscheiden, ob und was umgesetzt wird.
4. Die Umsetzung beginnt erst nach Ihrem OK. Wir richten die lokale KI ein, binden Ihre Daten an und führen das Projekt bis zum Go-live.
5. Ab dem Go-live begleiten wir Sie im Betrieb. Wir warten die Lösung und passen sie an, wenn sich Ihr Betrieb ändert.

Häufige Fragen