Lokale LLMs in der Schweiz sind kein Feature, sondern Voraussetzung

In Pitches für KI-Projekte im Schweizer Sozial- und Gesundheitsbereich kommt früher oder später der gleiche Satz: „Ihr könnt euer Modell auch in der Schweiz hosten." Sympathisch gemeint, technisch oft sogar machbar, aber die Formulierung verkauft das als Bonus-Feature. Es ist keines.

Klientendaten gehören nicht in eine US-API

Sobald du im Sozial- oder Gesundheitswesen mit echten Klientenakten arbeitest, ist der nächstgelegene US-LLM-Endpoint schlicht keine Option. Nicht wegen einer Hipster-Datenschutz-Pose, sondern wegen:

• Berufsgeheimnis (StGB 321) für die involvierten Berufsgruppen
• Datenschutz-Vorgaben kantonaler und nationaler Stellen
• Verträgen mit den Klientinnen und Klienten selbst
• Auftraggebern, die sich an genau diese Vorgaben halten müssen

Das ist kein Spielraum, in dem sich „later via VPC-peering" einfügen liesse. Die Inferenz selbst muss in einer Infrastruktur laufen, die mit diesen Vorgaben kompatibel ist — also auf eigener oder dedizierter Hardware in der Schweiz.

Die Konsequenz für die Architektur

Wer das von Anfang an einplant, baut eine andere Pipeline:

• Modellwahl — du nimmst das, was du selber betreiben kannst (LLaMA-Familie, Mistral, vergleichbare offene Modelle), nicht das beste Closed-Modell des Quartals
• Hardware — GPU-Kapazität wird Teil der Projektkalkulation, nicht ein Buchungsposten irgendwo bei AWS
• Embeddings — gleiche Logik, gleiche Anforderung. Auch das Embedding-Modell läuft on-Prem
• Logging — was du nicht ins LLM schickst, willst du auch nicht in einem cloud-basierten Observability-Stack haben
• Updates — neue Modell-Releases sind nicht ein API-Flag, sondern ein Deployment-Schritt mit Tests gegen den realen Use-Case

Das ist mehr Aufwand als „API-Key rein, Done". Ja. Es ist auch der einzige Weg, der mit den Anforderungen der Domäne kompatibel ist.

Warum das nicht aufhört, eine gute Lösung zu sein

Die wichtigste Beobachtung aus den letzten Monaten: Open-Source-Modelle sind für viele realistische Use-Cases gut genug. Niemand braucht GPT-4-Class für „fasse mir diese Sitzung zusammen" oder „finde mir alle Dokumente, in denen X vorkommt". Was du brauchst, ist ein Modell, das sauber transkribiert, sauber zusammenfasst, sauber zitiert — und das geht heute mit Modellen, die auf einer dedizierten Schweizer Maschine laufen.

Die nächsten zwölf Monate werden den Abstand zwischen Closed- und Open-Modellen für diese Aufgabenklasse weiter verkleinern, nicht vergrössern.

Kurz gesagt

Wenn ein Projekt im Schweizer Sozial- oder Gesundheitsbereich „lokale LLMs" als Marketing-Argument auf der Website hat, ist das kein USP. Es ist die Eintrittskarte. Spannend wird, was darüber hinaus geht — wie sauber die RAG-Pipeline aufgebaut ist, wie nachvollziehbar die Antworten sind, wie gut sich das System in den Arbeitsalltag der Nutzer integriert.

Das Hosting ist die Voraussetzung. Die eigentliche Arbeit beginnt erst danach.