Kernpunkt: Für den Anfang reicht LM Studio auf dem eigenen Rechner: installieren, Modell laden, losschreiben. Ollama wird interessant, wenn später mehrere Personen dieselbe KI nutzen sollen. Ob deine Daten wirklich im Haus bleiben, hängt bei beiden an ein paar Einstellungen, nicht am Programm.
Was lokale KI ist, ganz einfach erklärt
Bei ChatGPT, Claude oder Copilot entsteht die Antwort auf den Servern des Anbieters, meist in den USA. Bei lokaler KI entsteht sie auf deinem eigenen Rechner. Deine Texte, Dokumente und Fragen verlassen das Haus nicht, und es funktioniert sogar ohne Internet.
Ein Vergleich, der hilft, ist ein Navi mit Offline-Karten. Die Karte wird einmal heruntergeladen, danach rechnet das Gerät die Route selbst, auch im Funkloch. Bei lokaler KI lädst du einmal ein Modell herunter, ein paar Gigabyte groß, und dein Rechner beantwortet danach alle Fragen selbst.
Der Preis dafür: Die Modelle, die auf einem normalen Rechner laufen, sind kleiner als die hinter ChatGPT oder Claude. Für Zusammenfassungen, Entwürfe, Übersetzungen und Fragen an eigene Unterlagen reichen sie oft gut, bei kniffligen Analysen merkt man den Unterschied. Interessant wird lokale KI deshalb vor allem dort, wo Unterlagen aus gutem Grund nicht in ein Cloud-Werkzeug sollen: Personalakten, Befunde, Mandantenschreiben.
Welcher Rechner dafür reicht, oft schon der vorhandene Laptop, und was die einzelnen Stufen kosten, steht im Beitrag zu Hardware und Kosten für lokale KI.
Modell und Werkzeug: die zwei Teile, die du brauchst
Lokale KI besteht aus zwei Teilen. Das Modell ist die eigentliche KI, eine große Datei, die Sprache versteht und Texte schreibt. Das Werkzeug ist das Programm, das dieses Modell lädt und dir ein Chatfenster gibt. Ollama und LM Studio sind solche Werkzeuge.
Die Modelle kommen von großen Anbietern, die sie frei zur Verfügung stellen: Gemma von Google, Ministral von Mistral aus Frankreich, Qwen von Alibaba oder gpt-oss von OpenAI. Man nennt sie offene Modelle, weil sie jede und jeder herunterladen darf. Das Werkzeug ist dabei austauschbar, die gängigen Modelle laufen in beiden Programmen.
Tipp: Lass dich von Modellnamen wie „Gemma 4 E4B“ oder „Ministral 3 8B“ nicht abschrecken. Die Zahl mit dem B gibt die Größe an, in Milliarden Parametern. Modelle mit 4 bis 8 B laufen auf fast jedem aktuellen Laptop, größere brauchen mehr Speicher.
Ollama und LM Studio im Vergleich
LM Studio ist ein fertiges Programm mit Oberfläche: installieren, Modell aus einer Liste wählen, losschreiben. Ollama läuft eher unsichtbar im Hintergrund und ist darauf ausgelegt, dass andere Programme darauf zugreifen. Beide haben inzwischen ein eigenes Chatfenster und brauchen keine Kommandozeile.
| Kriterium | Ollama | LM Studio |
|---|---|---|
| Bedienung | App mit Chatfenster, Stärke im Hintergrund | vollständige Oberfläche mit Modellsuche |
| Kosten | kostenlos | kostenlos |
| Lizenz | Open Source | nicht Open Source |
| Firmennutzung | uneingeschränkt | nur für interne Zwecke |
| Stark bei | gemeinsamer Nutzung im Team | Ausprobieren am eigenen Arbeitsplatz |
| Cloud-Modus | ja, Ollama Cloud | ja, kostenpflichtige Cloud-Pläne |
Open Source heißt, der Programmcode ist öffentlich und die Lizenz erlaubt die freie Nutzung, auch im Betrieb. Für den Einstieg an einem Arbeitsplatz ist LM Studio meist angenehmer. Soll später das ganze Team auf dieselbe KI zugreifen, führt der Weg fast immer über Ollama, weil viele Team-Oberflächen zuerst dafür gebaut wurden. Ein Wechsel ist kein Problem.
Die ersten 30 Minuten
Zum Ausprobieren reichen dein vorhandener Rechner, eines der beiden Programme und ein kleines Modell. In einer halben Stunde weißt du, ob die Qualität für deine Aufgaben grundsätzlich passt. Du brauchst dafür weder neue Hardware noch Programmierkenntnisse.
- Installieren: LM Studio oder die Ollama-App, immer von der offiziellen Website und nicht über Download-Portale.
- Modell laden: ein kleines Modell wie Gemma 4 in der Größe E4B oder Ministral 3 mit 8B. Der Download dauert je nach Leitung ein paar Minuten.
- Prüfen, dass es lokal rechnet: kurz das WLAN abschalten. Antwortet das Modell weiter, rechnet es auf deinem Rechner.
- Mit unkritischen Texten testen: eine alte Besprechungsnotiz zusammenfassen, eine veröffentlichte Presseaussendung umschreiben.
- Ergebnis festhalten: was gut ging und was nicht. Das ist die Grundlage für jede weitere Entscheidung.
Welches Modell gut Deutsch kann
Für deutsche Texte sind derzeit Gemma 4 von Google, Ministral 3 von Mistral und Qwen von Alibaba die naheliegenden Kandidaten, die ersten beiden unter der freien Lizenz Apache 2.0. Für Rechner mit 16 GB Speicher kommt gpt-oss-20b von OpenAI dazu. Phi-4 von Microsoft ist laut eigener Beschreibung nicht für mehrsprachige Nutzung gedacht.
| Modell | Herkunft | Größen | Lizenz |
|---|---|---|---|
| Gemma 4 | Google, USA | von rund 2B bis 31B | Apache 2.0 |
| Ministral 3 | Mistral, Frankreich | 3B, 8B, 14B | Apache 2.0 |
| Qwen 3.5 | Alibaba, China | von 0,8B bis 122B | je Modell prüfen |
| gpt-oss-20b | OpenAI, USA | 20B | Apache 2.0 |
Ein belastbares Ranking für Deutsch gibt es nicht. Ein Vergleich von 39 Modellen an deutschen Verwaltungstexten kam im Juni 2026 zum Schluss, dass kein einzelnes Modell dominiert. Am verlässlichsten ist ein eigener Test: drei typische Aufgaben aus deinem Alltag, zwei oder drei Modelle, dieselben Worte. Achte darauf, ob die Fakten stimmen, ob der Ton passt und ob Grammatik und Umlaute sauber sind.
Die Herkunft des Modells ist bei lokaler Nutzung eine Frage der Lizenz und des Vertrauens, nicht des Datenflusses, denn die Daten bleiben ohnehin auf deinem Rechner. Wer trotzdem lieber ein europäisches Modell einsetzt, ist mit Ministral 3 gut bedient.
Ausnahme: Bei Llama 4 von Meta lohnt der Blick ins Kleingedruckte. Laut Nutzungsrichtlinie werden die Rechte an den multimodalen Llama-4-Modellen Unternehmen mit Hauptsitz in der EU nicht gewährt. Ausgenommen sind nur Endnutzer eines fertigen Produkts, in das ein solches Modell eingebaut ist. Wer es selbst herunterlädt und betreibt, greift besser zu einem anderen Modell.
Die Cloud-Falle in lokalen Werkzeugen
Ollama und LM Studio bieten inzwischen beide auch Cloud-Modelle an, die auf fremden Servern rechnen. Bei Ollama stehen diese Server laut Anbieter überwiegend in den USA, bei LM Studio sind die Cloud-Modelle ausdrücklich in den USA gehostet. Wer ein Cloud-Modell auswählt, schickt seine Unterlagen genau dorthin, wo sie nicht hin sollten.
Das ist kein Vorwurf an die Anbieter, die Cloud-Modelle sind gekennzeichnet und praktisch für große Modelle. Die Falle liegt in der Gewohnheit: Im selben Fenster, in dem gestern ein lokales Modell lief, steht heute ein stärkeres aus der Cloud zur Auswahl. Ein Klick genügt.
Tipp: Leg für sensible Unterlagen fest, welches lokale Modell verwendet wird, und schreib es dazu. Der WLAN-Test aus den ersten 30 Minuten funktioniert jederzeit wieder: Kommt ohne Internet keine Antwort, rechnet das Modell nicht bei dir.
Wenn das ganze Team mitmachen soll
Für ein Team läuft es meist auf Ollama auf einem gemeinsamen Rechner und eine Browser-Oberfläche wie Open WebUI hinaus. Das Team arbeitet dann in einem Fenster wie bei ChatGPT, mit eigenen Konten und einer Suche in hinterlegten Dokumenten. Die Einrichtung ist allerdings ein IT-Handgriff, kein Doppelklick.
Der größere Teil kommt nach der Einrichtung. Ein gemeinsamer KI-Rechner braucht Updates für Ollama, für die Oberfläche und für das Betriebssystem, und irgendwer muss merken, wenn er hängt. In kleinen Betrieben ist das oft die Person, die sich ohnehin um Drucker und WLAN kümmert. Das funktioniert, wenn es ausdrücklich ihre Aufgabe ist und nicht nebenbei passiert. Wer vor allem eigene Unterlagen durchsuchen will, findet in AnythingLLM eine Alternative mit Desktop-Version, ebenfalls Open Source.
175.000 offene Server: so bleibt deine Installation dicht
Ollama hat keine eingebaute Anmeldung. Solange es nur auf dem eigenen Rechner läuft, ist das kein Problem. Wer es für das Team im Netzwerk freigibt und dabei einen Fehler macht, öffnet es für das ganze Internet. Ein im Jänner 2026 veröffentlichter Bericht zählte über rund zehn Monate mehr als 175.000 solcher offenen Installationen in 130 Ländern.
Knapp die Hälfte davon war laut demselben Bericht von SentinelLABS und Censys so eingerichtet, dass das Modell Werkzeuge aufrufen kann, also etwa Code ausführen oder andere Systeme ansprechen. Offene Zugänge werden gezielt gesucht und verbilligt weiterverkauft, damit andere auf fremde Kosten rechnen.
- Nie direkt ins Internet: keine Portfreigabe am Router für Ollama. Eine Portfreigabe ist die Einstellung, die einen Dienst von außen erreichbar macht.
- Im Büronetz nur mit Firewall-Regel: Die Firewall ist der Türsteher des Rechners. Sie soll nur Geräte aus dem eigenen Netz durchlassen.
- Von unterwegs nur über VPN: ein verschlüsselter Tunnel ins Büronetz, etwa mit Tailscale oder dem VPN der Firma.
- Anmeldung davorsetzen: eine Oberfläche wie Open WebUI mit Benutzerkonten, damit nicht jeder im Netz direkt an das Modell kommt.
- Aktuell halten: Auch Ollama hatte Sicherheitslücken, die mit Updates geschlossen wurden.
Achtung: Ein Rechner, auf dem das ganze Team arbeitet, ist ein Server. Er braucht dieselbe Sorgfalt wie das Netzlaufwerk mit den Personalakten: klare Zugriffsrechte, Updates und jemanden, der zuständig ist.
Was Lizenz und Gesetz im Betrieb verlangen
Ollama darf in Firmen ohne Einschränkung genutzt werden. LM Studio ist seit Juli 2025 für die Arbeit kostenlos, aber nur für interne Zwecke. Und lokal entfällt zwar die Übermittlung an einen KI-Anbieter, die DSGVO und die Pflicht zur KI-Kompetenz aus dem EU AI Act gelten trotzdem.
„Intern“ ist für die meisten Betriebe genau der Fall: Das Team nutzt das Modell für die eigene Arbeit. Bietet ein Dienstleister seiner Kundschaft einen Dienst auf Basis von LM Studio an, deckt das die Lizenz nicht. Open WebUI darf intern mit beliebig vielen Personen kostenlos laufen, solange das Open-WebUI-Logo sichtbar bleibt. Und Werkzeug und Modell haben getrennte Lizenzen, beide gehören geprüft.
Beim Datenschutz gelten Zugriffsrechte und Löschfristen auch für das, was in der Dokumentensuche des lokalen Modells liegt. Wer Bewerbungsunterlagen dort hineinlädt, muss sie nach Ende der Aufbewahrungsfrist auch dort wieder löschen. Wie du die KI-Kompetenz deines Teams mit wenig Aufwand belegst, steht im Beitrag zum Nachweis der KI-Kompetenz, die Begleitung dazu unter KI-Kompetenz und AI Act.
Schluss: Die Wahl zwischen Ollama und LM Studio ist schnell getroffen. Die eigentliche Arbeit steckt in der Frage, welche Unterlagen ins lokale Modell dürfen, und darin, dass der Rechner nicht offen im Netz steht. Wenn du das mit deinem Team aufbauen willst, geht das in der KI-Werkstatt.
Transparenzhinweis: Dieser Beitrag wurde KI-unterstützt erstellt und vor Veröffentlichung inhaltlich geprüft, überarbeitet und redaktionell verantwortet von Lukas Tröls, Digitalisierungswerkstatt.at.
Rechtlicher Hinweis: Recherchiert nach bestem Wissen (Stand Oktober 2026), stellt jedoch keine Rechtsberatung dar. Für verbindliche Auskünfte zu deinem Fall wende dich an eine Rechtsanwältin oder die WKO-Rechtsberatung.
Quellen: Lizenz- und Preisseiten von Ollama, LM Studio und Open WebUI, Modellkarten und Lizenzen der Anbieter, Nutzungsrichtlinie zu Llama 4, Bericht von SentinelLABS und Censys über öffentlich erreichbare Ollama-Instanzen, alle abgerufen am 1. Oktober 2026.
