Kernpunkt: Die Frage ist nicht lokal oder Cloud, sondern welche Daten wohin dürfen. Viele Betriebe fahren am besten gemischt: Personal-, Gesundheits- und Mandantenunterlagen bleiben auf dem eigenen Rechner, alles andere läuft weiter über ChatGPT, Claude oder Copilot.
Wann sich lokale KI lohnt, und wann nicht
Lokale KI lohnt sich, wenn Unterlagen dein Haus nicht verlassen sollen: Personalakten, Befunde, Mandantenschreiben, vertrauliche Angebote. Für alles andere sind Cloud-Werkzeuge meist besser und günstiger, weil die stärksten Modelle nur in Rechenzentren laufen.
Der Haken gehört an den Anfang. Die stärksten frei verfügbaren Modelle sind so groß, dass sie auf keinem Bürorechner laufen. Was lokal läuft, ist eine kleinere Fassung, und die merkt man bei anspruchsvollen Texten und kniffligen Analysen.
Für Routinearbeit reicht sie trotzdem oft: Besprechungen transkribieren, Rechnungen auslesen, eigene Unterlagen durchsuchen, Entwürfe und Übersetzungen. Genau dort liegen oft die heiklen Daten. Wie du Cloud-Werkzeuge datenschutzsauber einsetzt, steht im Beitrag zu KI und DSGVO.
Drei Begriffe, die du für die Entscheidung brauchst
Für die Hardware-Frage zählen drei Begriffe: die Größe eines Modells in Milliarden Parametern, die Quantisierung, die das Modell verkleinert, und der Speicher, in den es passen muss. Bei einem PC ist das der Grafikspeicher, bei einem Mac der gemeinsame Arbeitsspeicher.
- Modellgröße: Ein Modell mit „8B“ hat 8 Milliarden Parameter. Größere Modelle schreiben besser und denken gründlicher, brauchen aber mehr Speicher und antworten langsamer.
- Quantisierung: Lokal laufen Modelle fast immer in einer komprimierten Fassung, üblich ist die Stufe Q4. Als Faustregel braucht so ein Modell rund 0,6 GB Speicher je Milliarde Parameter. Ein 14B-Modell belegt also etwa 9 GB, ein 32B-Modell etwa 20 GB.
- Grafikspeicher (VRAM): Das Modell muss vollständig hineinpassen, sonst wird es drastisch langsamer. Plane Puffer ein: Jedes Dokument, das du mitgibst, belegt zusätzlich Speicher. Das Tempo hängt danach vor allem daran, wie schnell der Speicher Daten liefert.
Gemessen wird das Tempo in Token pro Sekunde. Ein Token ist ungefähr ein Wortteil. Bei rund 10 Token pro Sekunde liest du eine Antwort beim Entstehen mit, ab 40 wirkt sie fast sofort da.
Welche Aufgabe welche Hardware braucht
Die meisten Büroaufgaben brauchen weniger Hardware als gedacht. Transkription, Rechnungen auslesen und kurze Entwürfe laufen auf einem normalen Laptop. Dokumentensuche für ein Team und Bildgenerierung brauchen eine Grafikkarte mit 12 bis 16 GB. Erst große Modelle für anspruchsvolle Texte verlangen 24 GB und mehr.
| Aufgabe | Mindestens | Beispiel-Werkzeug |
|---|---|---|
| Besprechungen transkribieren | Büro-Laptop | Whisper, faster-whisper |
| Rechnungen und Scans auslesen | Büro-Laptop | Docling mit Texterkennung |
| E-Mails, Zusammenfassungen, Übersetzungen | Laptop mit 16 GB, besser Grafikkarte | Gemma 4, Ministral 3, Qwen |
| Fragen an eigene Unterlagen | 16 GB Arbeitsspeicher oder 8 bis 16 GB Grafikspeicher | AnythingLLM, Open WebUI |
| Bilder erzeugen | Grafikkarte ab 12 GB | FLUX, Stable Diffusion |
| Anspruchsvolle Texte, mehrere Personen gleichzeitig | 24 GB Grafikspeicher oder 64 bis 128 GB gemeinsamer Speicher | Modelle ab 27B |
„Fragen an eigene Unterlagen“ heißt im Fachjargon RAG: Das Modell durchsucht deine Dokumente und antwortet mit Verweis auf die Fundstelle. Transkription ist dagegen genügsam: Laut Entwicklerangaben schreibt faster-whisper 13 Minuten Audio auf einem normalen Prozessor in unter zwei Minuten mit.
Achtung: Lokal installiert heißt nicht automatisch lokal gerechnet. Ollama und LM Studio bieten inzwischen auch Cloud-Modelle an, die auf Servern überwiegend in den USA laufen. Prüfe vor dem ersten echten Dokument, dass ein lokales Modell ausgewählt ist.
Die Stufen fürs Büro, und was sie heute kosten
Fürs Büro gibt es fünf Stufen: vom vorhandenen Laptop ohne Zusatzkosten bis zum Spezialrechner mit 128 GB um rund 3.900 bis 5.800 Euro. Für die meisten Betriebe liegt der vernünftige Einstieg bei einem PC mit 16 GB Grafikspeicher. Die Karte allein kostet derzeit ab rund 700 Euro.
| Stufe | Preis in Österreich | Läuft gut | Tempo laut Messungen |
|---|---|---|---|
| Vorhandener Büro-Laptop | 0 € | Modelle bis rund 8B | rund 10 Token/s bei 8B |
| Mac mit 32 GB | ab rund 1.400 € | bis rund 24B | je nach Chip |
| PC mit 16 GB Grafikspeicher | Karte 700 bis 1.200 €, plus PC | bis 14B, gpt-oss-20b | rund 40 Token/s bei 14B |
| 24 bis 64 GB | rund 2.900 bis 5.600 € | bis rund 32B | rund 60 Token/s bei 32B |
| Spezialrechner mit 128 GB | rund 3.900 bis 5.800 € | große Modelle wie gpt-oss-120b | rund 45 bis 60 Token/s |
Die Preise stammen von geizhals.at, abgerufen am 1. Oktober 2026. Sie sind derzeit ungewöhnlich hoch, weil Speicherchips knapp sind: Rechenzentren kaufen sie in großen Mengen. Wer nicht muss, kauft gerade keine Spitzenkarte.
Die oberste Bürostufe sind kleine Rechner mit AMD Ryzen AI Max+ 395 oder Nvidias DGX Spark, die 128 GB gemeinsam für Prozessor und Grafik nutzen. Für ein ganzes Team im Dauerbetrieb sind sie eher Testgerät als Server.
Die großen Stufen: was jenseits von 10.000 Euro kommt
Über den Bürostufen beginnt die Profi-Klasse. Ein Mac Studio mit M5 Ultra kostet ab rund 12.400 Euro, eine Profi-Grafikkarte mit 96 GB allein ab rund 15.500 Euro. Darüber liegen Rechner mit mehreren solcher Karten und Nvidias DGX Station um rund 90.000 Euro netto.
| Stufe | Preis | Speicher | Stark bei |
|---|---|---|---|
| Mac Studio mit M5 Ultra | mit 256 GB ab 12.429 €, mit 512 GB ab Ende Oktober | bis 512 GB gemeinsam | sehr großen Modellen für eine Person |
| Workstation mit einer RTX PRO 6000 | Karte 15.500 bis 17.650 €, als fertiges System rund 25.000 bis 35.000 € | 96 GB | einem ganzen Team gleichzeitig |
| Zwei bis vier Profi-Karten | nur auf Anfrage, die Karten allein rund 31.000 bis 70.000 € | 192 bis 384 GB | größeren Modellen, eigenen Modellen |
| Nvidia DGX Station | ab rund 90.000 € netto | 748 GB | Forschung und Entwicklung |
| Zum Vergleich: Rechenzentrums-Server mit 8 Chips | rund 450.000 € netto | 1.440 GB | Betrieb im Rechenzentrum |
Auch diese Preise sind Momentaufnahmen vom 1. Oktober 2026. Die RTX PRO 6000 kostete zum Marktstart 2025 rund 8.500 US-Dollar, im August 2026 verlangte Nvidia in den USA 16.000. Die Karte zieht bis zu 600 Watt, die DGX Station bis zu 1.600.
Selbst ganz oben gibt es eine Grenze: Die größten offenen Modelle, etwa DeepSeek V4 Pro mit 1,6 Billionen Parametern, passen in der üblichen Kompression auf keinen dieser Rechner, auch nicht auf die DGX Station. Die Spitze der offenen Modelle läuft im Rechenzentrum.
Wofür jemand 25.000 Euro für einen KI-Rechner ausgibt
Eine Workstation um 25.000 bis 35.000 Euro kauft man selten für eine einzelne Person. Typische Gründe sind ein Team, das gleichzeitig damit arbeitet, Modelle mit über 100 Milliarden Parametern, eigene nachgeschärfte Modelle und Videos. Gemeinsam ist allen, dass die Daten nicht nach draußen sollen.
- Viele gleichzeitig: Eine einzelne RTX PRO 6000 bediente in einem Test mit der Server-Software vLLM 50 gleichzeitige Anfragen an gpt-oss-120b, jede mit rund 30 Token pro Sekunde. Das reicht für eine ganze Belegschaft.
- Größere Modelle: Auf 96 GB laufen Modelle wie gpt-oss-120b oder Qwen 3.5 122B, ab zwei Karten auch DeepSeek V4 Flash. Bei anspruchsvollen Texten kommen sie in der Regel deutlich näher an die Cloud-Spitze.
- Eigene Modelle anpassen: Beim sogenannten Fine-Tuning wird ein Modell mit eigenen Texten nachtrainiert und lernt Fachsprache und Stil eines Hauses. Für 70 Milliarden Parameter braucht das laut Unsloth mindestens rund 41 GB. Das Universitätsklinikum Hamburg-Eppendorf schreibt so seit 2024 Arztbriefe mit einem eigenen Modell, trainiert auf rund 7 Millionen Fällen.
- Videos erzeugen: Die großen Fassungen des offenen Videomodells Wan 2.2 brauchen laut Entwicklern mindestens 80 GB Grafikspeicher.
- Datenschutz im großen Maßstab: Auch die öffentliche Hand geht diesen Weg. Das Bundesrechenzentrum bietet Sprachmodelle für Bund, Länder und Gemeinden an, betrieben vollständig in den eigenen Rechenzentren.
Rechnen muss sich das trotzdem. Laut einer Studie vom November 2025 macht sich eigene Hardware bei kleinen Modellen oft in wenigen Monaten bezahlt, bei großen erst nach rund fünf Jahren und vor allem bei sehr großen Textmengen. Ein teurer Rechner, der die meiste Zeit steht, ist der teuerste Weg zu KI.
Kernpunkt: Die große Hardware lohnt sich, wenn viele Menschen sie täglich nutzen oder ein eigenes Modell entsteht. Für eine einzelne Person, die gelegentlich Texte entwirft, ist sie überdimensioniert.
Die Speicher-Falle beim Kauf
Beim Kauf zählt der Grafikspeicher in Gigabyte, nicht der Name der Karte. Nvidia verkauft die RTX 5060 Ti mit 8 und mit 16 GB unter derselben Bezeichnung. Für lokale KI ist nur die 16-GB-Fassung sinnvoll, in günstigen Fertig-PCs steckt aber oft die kleinere.
Mir ist das im Sommer begegnet, als ich für die eigene Werkstatt Rechner für lokale Modelle verglichen habe: Die günstigsten Angebote mit 5060 Ti hatten fast durchwegs 8 GB. Der einfachste Ausweg war, nach der RTX 5070 Ti zu filtern, die es nur mit 16 GB gibt.
Die zweite Falle trägt ein KI-Logo. Copilot+ PCs werben mit einem eigenen KI-Chip, der NPU. Die gängigen Werkzeuge für lokale Sprachmodelle nutzen ihn derzeit nicht, praktisch bleiben damit Modelle um 4B. Ähnlich geht es meinem eigenen Arbeitsgerät, einem ARM-Tablet mit 16 GB: Die Grafikeinheit ist für diese Werkzeuge nicht nutzbar, mehr als kleine Modelle sind nicht drin.
Achtung: Frag beim Händler nach dem Grafikspeicher in Gigabyte, nicht nach der Modellbezeichnung. Steht die Zahl nicht klar im Datenblatt, such weiter.
Lokal oder Cloud: was es wirklich kostet
Lokal ist selten billiger. Zehn Lizenzen für ChatGPT Business oder Claude Team kosten rund 2.200 bis 2.500 Euro im Jahr. Ein lokaler Rechner für ein kleines Team kostet einmalig rund 1.400 bis 5.800 Euro, dazu kommen Einrichtung, Updates und jemand, der sich kümmert. Der Gewinn ist Kontrolle über die Daten, nicht Ersparnis.
| Cloud-Tarif | pro Person und Monat | Hinweis |
|---|---|---|
| ChatGPT Business | 21 € jährlich, 26 € monatlich | ab 2 Personen, mit UID ohne USt. |
| Claude Team | 18 € jährlich, rund 21 € monatlich | ohne Steuern |
| Microsoft 365 Copilot Business | 18,20 € | Zusatz zu einem Microsoft-365-Plan, ohne MwSt., bis Ende 2026 im ersten Jahr 15,60 € |
Strom fällt dagegen kaum ins Gewicht. Eine RTX 5060 Ti zieht unter Last rund 180 Watt. Bei vier Stunden Volllast an 220 Arbeitstagen und rund 29 Cent je Kilowattstunde sind das etwa 46 Euro im Jahr. Eine RTX 5090 mit 575 Watt kommt auf rund 150 Euro.
Teurer ist der Teil, den keine Preisliste zeigt: Zugriffsschutz, regelmäßige Updates und eine Person, die merkt, wenn etwas nicht stimmt.
Kernpunkt: Rechne nicht Lizenz gegen Hardware. Frag lieber, welche Aufgaben heute gar nicht mit KI erledigt werden, weil die Unterlagen zu heikel für die Cloud sind. Dort liegt der eigentliche Nutzen.
Gibt es dafür eine Förderung?
In Oberösterreich ist derzeit DIGITAL.PLUS 26 von Wirtschaftskammer und Land offen: 35 Prozent Förderung, höchstens 7.000 Euro, Einreichung bis 2. November 2026. Künstliche Intelligenz ist ausdrücklich ein Schwerpunkt. Ein KI-Rechner allein ist aber nicht förderbar, Standard-Hardware wie PCs ist ausgeschlossen.
Gefördert wird ein Digitalisierungsprojekt ab 12.000 Euro netto, davon mindestens 20 Prozent Beratung oder IT-Dienstleistung, für aktive Mitglieder der Wirtschaftskammer mit Sitz in Oberösterreich und solange die Mittel reichen. Hardware zählt nur, wenn sie ausschließlich diesem Projekt dient. Für eine Dokumentensuche samt Einrichtung und Einschulung des Teams kann das passen.
Die Bundesprogramme sind dagegen zu: KMU.DIGITAL nimmt keine Anträge mehr an, bei der aws-Förderung für KI-Einführung ist kein Aufruf offen, und ein eigenes Programm für Vereine habe ich nicht gefunden. Ob dein Vorhaben in einen Topf passt, klären wir in der Förderberatung. Wege für die Schulung deines Teams stehen im Beitrag zur Förderung von KI-Schulungen in Oberösterreich.
So fängst du an, ohne etwas zu kaufen
Fang mit einer einzigen Aufgabe und dem vorhandenen Rechner an. Installiere ein kostenloses Werkzeug wie LM Studio oder die Ollama-App, lade ein kleines Modell und teste es eine Woche lang mit echten, aber unkritischen Unterlagen. Erst wenn Qualität oder Tempo das Problem sind, kaufst du Hardware. Welches der beiden Werkzeuge zu dir passt und wie deine Installation dicht bleibt, steht im Vergleich Ollama oder LM Studio.
- Eine Aufgabe wählen: am besten eine, die heute liegen bleibt, weil die Daten nicht in die Cloud sollen. Protokolle, Bewerbungen, Befundbriefe.
- Klein anfangen: LM Studio oder die Ollama-App, dazu ein Modell mit 4B bis 8B wie Gemma 4 oder Ministral 3. Beide schreiben ordentlich Deutsch.
- Vergleichen: dieselbe Aufgabe mit Testdaten einmal lokal und einmal in der Cloud. Der Unterschied zeigt dir, was du verlierst.
- Dann entscheiden: reicht die Qualität und stört nur das Tempo, hilft Hardware. Reicht die Qualität nicht, hilft meist nur ein größeres Modell, und das kostet Speicher.
Einrichtung und Einschulung für das ganze Team machen wir in der KI-Werkstatt, größere Fragen in der Beratung und Strategie.
Schluss: Lokale KI ersetzt ChatGPT nicht. Sie ist ein zweites Werkzeug für genau die Unterlagen, die du bisher bewusst draußen gelassen hast. Wer das so sieht, kauft kleiner, testet früher und ärgert sich seltener.
Transparenzhinweis: Dieser Beitrag wurde KI-unterstützt erstellt und vor Veröffentlichung inhaltlich geprüft, überarbeitet und redaktionell verantwortet von Lukas Tröls, Digitalisierungswerkstatt.at.
Quellen: Preise von geizhals.at, Cloud-Tarife von den Preisseiten der Anbieter (ChatGPT, Claude, Microsoft 365 Copilot), Strompreis aus dem Tarifkalkulator der E-Control, Förderdaten der WKO Oberösterreich, Preise der Profi-Klasse von geizhals.at, apple.com/at und Delta Computer, Tempowerte aus veröffentlichten Messungen von hardware-corner.net, Database Mart, llama.cpp und faster-whisper, Speicherbedarf laut Unsloth und Wan 2.2, Wirtschaftlichkeit nach Pan et al. (arXiv 2509.18101), alle abgerufen am 1. Oktober 2026.
