Sie möchten einen vertraulichen Bescheid mit einer KI zusammenfassen, aber den Inhalt nicht an einen externen Dienst senden. Ollama kann dabei helfen, wenn Ihr PC die passende Hardware bietet und Sie die technische Einrichtung übernehmen möchten.
Die lokale Ausführung ist keine fertige Chatlösung, die Sie einfach im Browser öffnen. Sie braucht Software, Modellgewichte und etwas Zeit zum Einrichten. Dafür können einzelne Nutzerinnen und Nutzer, Unternehmen und Teams Inhalte auf eigener Hardware bearbeiten.
Lokale Inferenz bedeutet: Ein KI-Modell verarbeitet Ihre Eingabe auf dem eigenen Gerät statt auf einem externen Server. Welche Aufgaben damit gut klappen, hängt vom gewählten Modell ab. Zuerst ist wichtig, was Ollama auf dem PC tatsächlich ausführt.
Das Wichtigste auf einen Blick
- Ollama führt große Sprachmodelle auf einem eigenen Computer oder Server aus.
- Die lokale Verarbeitung kann bei vertraulichen Inhalten nützlich sein.
- Sie brauchen passende Hardware und müssen die Einrichtung selbst übernehmen.
- Die Antwortqualität hängt von Modell und Aufgabe ab.
- Eine Chatoberfläche oder App kann zusätzliche Software erfordern.
Was ist Ollama und wie funktioniert es?
Ollama ist Open-Source-Software, kein einzelnes Modell und kein fertiger Chatdienst. Die Software lädt ein Modell auf Ihren Computer oder Server und verarbeitet Ihre Eingabe dort.
Für lokale Inferenz braucht Ollama keine cloudbasierte API. Das macht Ollama lokal zu einer möglichen Lösung, wenn Sie mehr Kontrolle über die Verarbeitung wünschen.
Ollama ist die Laufzeit für lokale Modelle, nicht selbst das Sprachmodell. Ihre Eingabe wird vom geladenen Modell auf Ihrer eigenen Hardware verarbeitet.
Modelle auf dem eigenen Rechner ausführen
Die großen Sprachmodelle, kurz LLMs, erzeugen Antworten anhand gelernter Muster. Ollama stellt die Laufzeit bereit, die ein gewähltes Modell lädt und für eine Anfrage nutzt.
Die Modellgewichte sind die lokal gespeicherten Modelldateien. Nach dem Laden nutzt Ollama diese Dateien, um eine Antwort zu berechnen. Die Geschwindigkeit hängt unter anderem von Modell und Rechner ab.
„Ollama KI“ meint deshalb oft die Kombination aus Software und einem gewählten Modell. Die Software kann verschiedene Modelle verwalten, aber sie entscheidet nicht allein über die Qualität.
Was der lokale Server bereitstellt
Ollama startet einen lokalen HTTP-Server. Dieser Hintergrundprozess nimmt Anfragen entgegen und stellt eine REST-API bereit, über die andere Programme mit Modellen kommunizieren können.
Eine REST-API ist eine Schnittstelle, über die Apps Daten an einen Dienst senden und Antworten erhalten. Ollama bietet sie lokal an, ohne dass eine Cloud-API nötig ist.
Hinter Ollama steht ein Open-Source-Projekt. Die verfügbaren Angaben benennen keine einzelne Gründerperson. Ob die Ollama KI für Sie nützlich ist, hängt von Ihren Aufgaben und dem gewählten Modell ab.
Welche Aufgaben lassen sich mit lokalen Modellen erledigen?
Ein lokales Modell kann einen langen Bescheid auf Ihrem PC zusammenfassen, ohne dass Sie ihn an einen externen Chatdienst senden. Für Textaufgaben gibt es mehrere sinnvolle Anwendungen.
Prüfen Sie jede Antwort, denn Modelle können Fehler machen. Die Qualität schwankt je nach Modell, Sprache und Aufgabe; ein flüssiger Text ist kein Beleg für richtige Angaben.
- Texte zusammenfassen, etwa einen Bescheid oder ein längeres Protokoll.
- Entwürfe für Briefe oder E-Mails mit passendem Ton formulieren.
- Fragen zu einem bereitgestellten Text beantworten.
- Beim Schreiben von Code helfen und Lösungsansätze vorschlagen.
- Ideen ordnen, etwa für eine Besprechung oder ein Projekt.
In Unternehmen und Teams können solche Aufgaben bei internen Texten helfen. Die Nutzung bleibt trotzdem davon abhängig, ob das Modell den Inhalt richtig versteht.
Ein lokales Sprachmodell ist nicht automatisch ein Werkzeug für Bildverarbeitung oder Spracherkennung. Dafür brauchen Sie passende Modelle und Software, nicht nur ein Sprachmodell.
Auch bei einer einfachen Zusammenfassung sollten Sie Namen, Fristen und Zahlen im Original prüfen. Das gilt besonders, wenn ein Fehler Folgen für andere Menschen hat.
Unterschiedliche Modelle sind auf unterschiedliche Aufgaben ausgelegt. Die nächste Entscheidung lautet deshalb, welches Modell zu Ihrem Vorhaben passt.
Welche Modelle passen zu deinem Vorhaben?
Das beste Modell hängt von der Aufgabe und den verfügbaren Ressourcen ab. Wählen Sie nach Einsatz, statt ein Modell pauschal zum besten zu erklären.
Ollamas Bibliothek umfasst mehr als 100 Modelle. Dazu zählen unter anderem die Familien Llama, DeepSeek, Mistral, Gemma, Phi und Qwen.
| Modellfamilie | Genannte Stärke oder Einsatz | Praktische Auswahlhilfe |
|---|---|---|
| DeepSeek-R1 | Reasoning-Aufgaben | Für mehrstufiges Schlussfolgern testen |
| Mistral | Deutschsprachige Texte | Für deutsche Textaufgaben testen |
| Qwen2.5-Coder | Programmieren | Für Coding-Aufgaben wählen |
| Gemma | Open-Source-Modellfamilie von Google | Mit anderen Modellfamilien vergleichen |
Reasoning bezeichnet Aufgaben, bei denen ein Modell mehrere Schritte verbinden muss. DeepSeek-R1 eignet sich besonders zum Testen solcher Anfragen.
Mistral ist ein möglicher Kandidat für deutschsprachige Texte. Prüfen Sie die Antworten mit eigenen Beispielen, denn die Leistung kann je nach Modellversion schwanken.
Für Code gibt es eigene Modelle wie Qwen2.5-Coder und DeepSeek-Coder. Eine Coding-Version kann bei Programmierfragen besser passen als ein allgemeines Sprachmodell.
Modellnamen und verfügbare Varianten können sich ändern. Prüfen Sie vor der Wahl, ob die passende Variante in der Bibliothek verfügbar ist.
Vergleichen Sie zwei Kandidaten mit derselben Aufgabe und bewerten Sie Genauigkeit, Verständlichkeit und Tempo. Danach sollten Sie prüfen, ob Ihr Rechner die Modellgewichte verarbeiten kann.
Welche Hardware braucht Ollama?
Ein kleineres Modell lässt sich auf einem Rechner mit mindestens 8 GB RAM ausprobieren. Mehr Speicher hilft, wenn Sie größere Modelle oder lange Texte bearbeiten.
Für kleine Modelle gelten 8 GB RAM als Einstieg, 16 bis 32 GB bieten mehr Spielraum. Der tatsächliche Bedarf hängt auch von Modellgröße, Quantisierung und Kontextlänge ab.
| Modellumfang | Speicher-Richtwert | Einordnung |
|---|---|---|
| Kleines Modell um 8B | Mindestens 8 GB RAM | Einstiegsschwelle für kleine Modelle |
| 14B-Modell | Mindestens 12 GB GPU-VRAM | GPU-Speicherbedarf beachten |
| 70B-Modell | 48 GB oder mehr GPU-VRAM | Für leistungsfähige Hardware planen |
RAM ist der Arbeitsspeicher des Computers. GPU-VRAM ist der eigene Speicher der Grafikkarte, den ein Modell bei der Berechnung nutzen kann.
Ein 14B-Modell hat rund 14 Milliarden Parameter. Für diese Größe werden mindestens 12 GB GPU-VRAM genannt. Ein 70B-Modell braucht mit 48 GB oder mehr deutlich leistungsfähigere Hardware.
Quantisierung verkleinert Modellgewichte, indem sie Zahlenwerte sparsamer speichert. Das kann den Speicherbedarf senken, beeinflusst aber je nach Modell auch die Antwortqualität.
Auch die Kontextlänge zählt: Sie bestimmt, wie viel Text das Modell bei einer Anfrage berücksichtigen kann. Längere Texte benötigen mehr Speicher.
Eine CPU-Ausführung ist möglich, läuft aber nicht automatisch schnell. Apple Silicon kann durch den gemeinsamen Unified Memory für lokale Modelle gut geeignet sein.
Bei der Frage „Wie viel RAM braucht man wirklich?“ ist 8 GB die Untergrenze für kleine Modelle. Für mehr Auswahl sind 16 bis 32 GB sinnvoller. Als Nächstes wählen Sie das Programm für Ihr Betriebssystem.
Wie installierst du Ollama auf deinem Betriebssystem?
Ollama lässt sich auf Windows, macOS und Linux installieren. Der passende Download hängt vom Betriebssystem Ihres Computers ab.
Ollama ist eine lokale Laufzeit und nicht automatisch eine vollständige Chatoberfläche. Den Download finden Sie auf ollama.com/download; suchen Sie also nach „Ollama download“ für das richtige System.
Die Ollama app ist die Laufzeit, die Modelle starten kann. Für eine grafische Chatoberfläche brauchen Sie später eventuell eine separate Anwendung.
Installation unter Windows
Laden Sie die EXE-Datei von der offiziellen Downloadseite herunter. Öffnen Sie die Datei und folgen Sie den Schritten im Installationsfenster.
Danach öffnen Sie PowerShell. Geben Sie ollama -v ein und drücken Sie die Eingabetaste. Die Ausgabe zeigt die installierte Version.
Auch wenn Sie nach „Ollama Windows“ suchen, achten Sie auf die passende EXE-Datei. Vermeiden Sie Installationsdateien von unbekannten Seiten.
Installation unter macOS
Laden Sie die ZIP-Datei herunter und entpacken Sie sie. Verschieben Sie Ollama.app anschließend in den Programme-Ordner.
Öffnen Sie danach das Terminal. Mit ollama -v prüfen Sie, ob das Programm erreichbar ist und eine Version ausgibt.
Falls macOS beim ersten Start eine Sicherheitsmeldung zeigt, prüfen Sie, ob die App von der offiziellen Seite stammt. Starten Sie sie dann über den Programme-Ordner.
Installation unter Linux
Öffnen Sie ein Terminal und führen Sie das Installationsskript unter https://ollama.com/install.sh aus. Das Skript richtet die Laufzeit auf dem Linux-System ein.
Prüfen Sie danach mit ollama -v, ob die Installation funktioniert. Der Befehl ollama list bietet eine zusätzliche Kontrolle, auch wenn noch keine Modelle installiert sind.
Nutzen Sie nur Befehle, deren Herkunft Sie kennen, besonders wenn ein Skript Änderungen am System vornimmt. Nach der erfolgreichen Installation können Sie ein erstes Modell herunterladen.
Wie lädst du ein Modell herunter und startest es?
Mit Ollama laden Sie ein Modell zuerst herunter und starten es danach im Terminal. Der kurze Ablauf braucht beim ersten Download eine Internetverbindung.
llama3.2 benötigt für den ersten Download etwa 2 GB Speicherplatz. Laden Sie das Modell mit diesem Befehl aus der Ollama-Bibliothek:
ollama pull llama3.2
Warten Sie, bis der Download abgeschlossen ist. Die Modellgewichte liegen danach lokal auf Ihrem Gerät und lassen sich offline verwenden.
Starten Sie das Modell anschließend mit:
ollama run llama3.2
Das Terminal öffnet nun eine Eingabezeile. Schreiben Sie dort eine Frage, zum Beispiel: „Fasse diesen kurzen Text in drei Sätzen zusammen.“ Drücken Sie die Eingabetaste.
Sie können weitere Fragen eingeben, solange die Sitzung läuft. Beenden Sie die Unterhaltung mit /bye.
Eine Internetverbindung ist für den ersten Download nötig, nicht für jede spätere Anfrage. Wenn das Modell lokal vorhanden ist, kann Ollama es ohne Cloudverbindung ausführen.
llama3.2 ist ein Beispiel für ein kleineres Modell und kein Versprechen auf identische Ergebnisse bei jeder Aufgabe. Prüfen Sie die Antwort anhand des Textes, den Sie eingegeben haben.
Wenn Sie später mehrere Modelle installieren, können Sie den lokalen Bestand auflisten und verwalten. So behalten Sie den Speicherbedarf im Blick.
Wie verwaltest du installierte Modelle?
Prüfen Sie vor weiteren Downloads zuerst, welche Modelle bereits lokal liegen. Ein kurzer Überblick zeigt, was Speicherplatz belegt.
Die Befehle zeigen Details, stoppen laufende Modelle und entfernen nicht benötigte Dateien. Ersetzen Sie Beispielnamen durch den Namen Ihrer eigenen Installation.
- ollama list zeigt die lokal installierten Modelle.
- ollama show llama3.3 zeigt Details zu diesem Modell.
- ollama stop deepseek-r1:1.5b stoppt das laufende Modell.
- ollama rm mistral entfernt das Modell mistral.
Ein Modell zu entfernen gibt den Speicherplatz seiner Modellgewichte frei. Das ist nützlich, wenn ein Test abgeschlossen ist oder Sie eine Variante nicht mehr verwenden.
Der Modellname muss genau zur Installation passen. Wenn ein Befehl einen Fehler meldet, vergleichen Sie den Namen mit der Ausgabe von ollama list.
Das Stoppen beendet einen laufenden Modellprozess, löscht aber nicht automatisch dessen Dateien. Entfernen Sie ein Modell nur, wenn Sie es nicht mehr lokal brauchen.
Mit diesen Befehlen kontrollieren Sie den Bestand direkt auf einem PC. Für andere Programme oder ein Team kann eine Oberfläche oder API besser passen.
Wie bindest du Ollama in Apps und Teams ein?
Ein Team kann dasselbe lokale Modell auch außerhalb des Terminals nutzen. Eine Schnittstelle verbindet Ollama mit eigenen Apps oder einer Chatoberfläche.
Der lokale HTTP-Server nutzt standardmäßig Port 11434. Damit können Entwickler und Teams Anfragen an ein Modell senden.
| Zugriffsweg | Konkrete Schnittstelle | Typische Nutzung |
|---|---|---|
| Terminal | ollama run | Modell direkt ausprobieren |
| REST-API | http://localhost:11434/api/chat und http://localhost:11434/v1 | Eigene Apps anbinden |
| Open WebUI | http://localhost:8080 | Chatoberfläche mit lokaler Modellverbindung |
Zugriff über die REST-API
Die REST-API ist unter anderem über http://localhost:11434/api/chat erreichbar. Der Endpunkt http://localhost:11434/v1 ist OpenAI-kompatibel.
„OpenAI-kompatibel“ bedeutet, dass Apps mit passender Unterstützung diesen Zugang nutzen können. Sie müssen trotzdem die Verbindung und die jeweilige App passend einrichten.
Eine App kann damit Anfragen an den Ollama-Server schicken und Antworten empfangen. Das kann für interne Werkzeuge in einem Unternehmen oder Team nützlich sein.
Chatoberfläche und Docker
Ollama selbst bringt keine fertige grafische Chatoberfläche mit. Open WebUI ist eine separate Option, die Modelle über die lokale Verbindung nutzt.
Open WebUI erreichen Sie unter http://localhost:8080. Für eine Einrichtung mit Docker kann „Ollama Docker“ ein passender Suchbegriff sein; die Oberfläche lässt sich per Docker betreiben.
Diese Kombination bietet eine Chatoberfläche, ersetzt aber nicht die Planung von Zugriffsrechten. Wenn mehrere Personen ein gemeinsames Modell nutzen, sollten Sie festlegen, wer den Server erreichen darf.
Die Wahl zwischen Terminal, API und Ollama chat hängt davon ab, wie Ihr Team arbeiten möchte. Der Netzwerkzugriff wirft zugleich eine wichtige Frage zum Schutz von Daten auf.
Wie schützt du Daten und Zugriffe?
Bei rein lokaler Nutzung wird eine Anfrage nicht an einen externen KI-Dienst gesendet. Die Verarbeitung bleibt auf Ihrer eigenen Hardware.
Lokale Ausführung allein garantiert keine vollständige DSGVO-Konformität aller Systeme und Arbeitsabläufe. Sie müssen auch Apps, Zugriffe und interne Regeln prüfen.
- Prüfen Sie vor sensiblen Aufgaben, ob die lokale statt der Cloud-Ausführung aktiv ist.
- Binden Sie den lokalen Server nicht unbedacht an alle Netzwerkadressen.
- Erlauben Sie entfernte Zugriffe nur mit passenden Netzwerk- und Zugriffsregeln.
- Schützen Sie Modellgewichte und lokale Eingaben nach Ihren Datenschutzanforderungen.
Die Modellgewichte müssen zunächst heruntergeladen werden. Danach kann Ollama offline arbeiten, sofern Sie keine Cloud-Funktion oder andere Online-Dienste nutzen.
Ollama gibt an, dass Daten aus der Nutzung nicht zum Training verwendet werden. Diese Aussage bezieht sich auf Ollama und ersetzt keine Prüfung weiterer eingesetzter Systeme.
Die optionale Ollama Cloud ist nicht dasselbe wie rein lokale Nutzung. Laut Anbieter liegen Cloud-Angebote in den USA, Europa und Singapur.
Ein lokaler Server kann über das eigene Gerät hinaus erreichbar werden, wenn Sie Netzwerkzugriffe einrichten. Beschränken Sie solche Zugänge auf den nötigen Personenkreis.
Bei vertraulichen Inhalten sollten Sie auch gespeicherte Eingaben, Backups und Zugriffsrechte einbeziehen. So wird Datenschutz Teil des gesamten Ablaufs, nicht nur der Modellwahl.
Auch die Cloud kann eine bewusste Option sein, bringt aber andere Bedingungen mit sich. Der nächste Punkt ist, welche laufenden und einmaligen Kosten entstehen.
Was kostet Ollama im lokalen Betrieb?
Die lokale Nutzung der Open-Source-Software ist kostenlos. Eigene Kosten entstehen durch die Hardware und den Stromverbrauch Ihres Computers.
Für rein lokale Nutzung fallen die Cloudpreise nicht an. Die Software kostet nichts, doch ein leistungsfähiger Rechner und sein Strom sind nicht kostenlos.
Ollama Cloud bietet zusätzliche Tarife. Stand Juni 2026 kostet Free 0 USD, Pro 20 USD pro Monat oder 200 USD pro Jahr.
Der Max-Tarif kostet 100 USD pro Monat. Der Team-Plan war angekündigt, aber im Juni 2026 noch nicht buchbar.
Diese Preise gelten für die Cloud-Angebote und nicht für das lokale Ausführen von Modellen. Sie können sich mit der Zeit ändern.
Bei lokaler Nutzung zahlen Sie nicht pro Anfrage an eine Cloud-API. Ihre Ausgaben hängen stattdessen davon ab, welche Hardware Sie bereits haben und wie oft sie läuft.
Ein älterer PC kann für kleine Modelle reichen, während größere Modelle mehr Leistung fordern. Entscheidend ist, ob die Antworten gut genug sind und die Einrichtung für Sie machbar bleibt.
Damit geht es nicht nur um den Preis. Wägen Sie ab, ob lokale Kontrolle zu Ihrem Kenntnisstand und Ihrem Qualitätsbedarf passt.
Wann ist Ollama eine gute Wahl und wann nicht?
Entscheidend ist, ob Ihnen lokale Datenkontrolle oder Komfort und höchste Modellqualität wichtiger sind. Ollama passt, wenn Sie Einrichtung und Betrieb selbst übernehmen können.
Für vertrauliche Texte und eigene Infrastruktur kann Ollama sinnvoll sein, aber es ist kein fertiger Chatdienst für jeden Bedarf.
Wählen Sie Ollama, wenn lokale Kontrolle den Aufwand rechtfertigt. Wenn Komfort, Spitzenqualität oder verbindlicher Support zählt, passt ein anderer Zugang oft besser.
- Passend, wenn Sie vertrauliche Inhalte lokal bearbeiten möchten.
- Passend, wenn Entwicklerressourcen für Einrichtung und Wartung vorhanden sind.
- Passend, wenn Ihr Unternehmen oder Team eigene lokale Infrastruktur wünscht.
- Weniger passend, wenn Sie sofort ein fertiges Chatfenster brauchen.
- Weniger passend, wenn Sie GPT-4o- oder Claude-Sonnet-Niveau erwarten.
- Weniger passend, wenn Sie technischen Support mit SLA benötigen.
Ein SLA ist eine verbindliche Vereinbarung über den Support und die Leistung eines Dienstes. Ollama ersetzt kein Angebot, das solche Zusagen für Ihr Unternehmen voraussetzt.
Wenn Sie lokale Modelle mit einer grafischen Oberfläche erkunden möchten, ist LM Studio eine Alternative. Es kann den Einstieg erleichtern, wenn Sie ungern im Terminal arbeiten.
ChatGPT oder Claude passen eher, wenn hohe Modellqualität wichtiger als lokale Datenhaltung ist. Dabei nutzen Sie einen externen Dienst statt einer rein lokalen Verarbeitung.
Teams sollten auch klären, wer Modelle einrichtet und Antworten prüft. Ein einzelner Test am eigenen PC beantwortet noch nicht alle Fragen zum Betrieb im Unternehmen.
Starten Sie mit Ihrer wichtigsten Anforderung: lokale Kontrolle, einfache Bedienung oder hohe Antwortqualität. Danach wählen Sie entweder einen kleinen lokalen Test oder einen fertigen Chatdienst.
Fazit
Ollama eignet sich besonders für Menschen und Teams, die technisch handhabbare Aufgaben lokal bearbeiten möchten. Die kostenlose Software bietet eine datenschutzbewusste Option, ist aber kein fertiger Chatdienst für alle Bedürfnisse.
Ob sie für Sie passt, zeigt ein kleiner Test besser als ein allgemeiner Modellvergleich. Probieren Sie llama3.2 aus, wenn Ihre Hardware und Datenschutzanforderungen dafür geeignet sind.
Beginnen Sie mit einer eigenen, unkritischen Aufgabe und prüfen Sie die Antwort am Original. So sehen Sie, ob Qualität und Bedienung für Ihren Alltag reichen.
