Lokale KI · Ollama Schritt für Schritt · Kapitel 5 · 3 Min.

Ollama einrichten und der erste Satz

Installieren, ein Modell holen, den ersten Satz tippen — und den Modellordner dahin legen, wo Platz ist.

Ollama ist das Programm, das Sprachmodelle auf deinem Rechner laufen lässt. Es ist ein ganz normaler Installer, danach läuft es im Hintergrund und wartet auf Arbeit. Kein Konto, keine Anmeldung, keine Kreditkarte.

Installieren

1. Herunterladen.
   Auf ollama.com/download das eigene Betriebssystem wählen. Für Windows ist es eine .exe, die du doppelklickst. Der Installer fragt nichts Wichtiges.
2. Terminal öffnen.
   Unter Windows die PowerShell — Startmenü, PowerShell tippen, Enter. Auf dem Mac das Programm Terminal. Ein schwarzes Fenster, in das man Befehle tippt.
3. Prüfen, ob es da ist.
   

   ollama --version

   Kommt eine Versionsnummer, ist alles gut. Kommt „Befehl nicht gefunden“, schließ das Fenster und öffne ein neues — der Installer trägt sich erst für neue Fenster ein.

Erst den Ordner umlegen, dann Modelle holen

Modelle sind groß. Bei mir liegen drei Stück, zusammen knapp 13 Gigabyte. Von Haus aus landen sie im Benutzerordner auf C: — also ausgerechnet dort, wo bei den meisten Rechnern am wenigsten Platz ist.

Das lässt sich mit einer einzigen Einstellung ändern, und zwar bevor du das erste Modell lädst. Sonst schiebst du hinterher Gigabyte durch die Gegend.

[Environment]::SetEnvironmentVariable("OLLAMA_MODELS", "U:\OLLAMA_MODELS", "User")

Statt U:\OLLAMA_MODELS nimmst du natürlich einen Pfad, den es bei dir gibt. Danach Ollama einmal beenden und neu starten — die Einstellung wird beim Start gelesen, nicht im laufenden Betrieb.

Merke

Diese eine Zeile ist der Unterschied zwischen „ich probiere mal drei Modelle aus“ und „meine Systemplatte ist voll“. Mach sie zuerst.

Das erste Modell

Fang klein an. gemma3:1b ist knapp 800 Megabyte groß, lädt in ein, zwei Minuten und läuft auf so ziemlich allem.

ollama run gemma3:1b

Beim ersten Mal lädt er das Modell herunter, danach nicht mehr. Wenn der Fortschrittsbalken durch ist, erscheint ein Eingabezeichen. Ab da tippst du einfach.

Erklär mir in drei Sätzen, was ein Estrich ist.

Die Antwort baut sich Wort für Wort auf. Genau so sieht Rechnen auf dem eigenen Gerät aus: Man kann beim Denken zusehen. Beenden geht mit:

/bye

Was gerade passiert ist

Nichts hat den Rechner verlassen. Kein Konto wurde angelegt, nichts wurde abgerechnet. Die Frage nach dem Estrich kennt niemand außer dir und deiner Festplatte.

Genau das ist der ganze Punkt. Alles Weitere in diesem Kurs — das Diktat, der Schwärzer, die Feinheiten — hängt an dem, was du gerade gemacht hast.

In einem Satz

Eine Zeile entscheidet, wo die Modelle landen. Ohne sie füllen sie die Systemplatte, und du merkst es erst, wenn nichts mehr geht.