Lokale KI · Praxis · Kapitel 18 · 13 Min.

Kniffe, die man nicht auf Anhieb findet

Acht Handgriffe für die lokale KI — vom Denken abschalten bis zur Cloud ganz aus. Und warum es dieses Kapitel bis vor Kurzem gar nicht geben sollte.

Die anderen Kurse haben dieses Kapitel von Anfang an. Dieser hier bekam bewusst keins, und die Begründung stand fest: An einer Kommandozeile liegt alles offen. Wo keine Oberfläche ist, kann sich nichts verstecken.

Diese Begründung ist überholt — aus zwei Gründen. Der erste ist, dass Ollama inzwischen etwas anderes ist als noch vor einem Jahr. Der zweite ist grundsätzlicher: Nicht das Fehlen eines Knopfes versteckt etwas, sondern die Entfernung. Und Entfernung gibt es hier reichlich — der Handgriff steht in einer Fußnote der Dokumentation, in einem Namenszusatz, oder in einer Voreinstellung, die niemand nennt.

1. Das Denken abschalten, wenn nichts zu denken ist

Dieser Handgriff hatte im August die größte Wirkung im ganzen Kurs, und man findet ihn nur, wenn man ollama run --help eintippt. Neuere Modelle denken vor dem Antworten — sie erzeugen erst eine lange innere Überlegung, die du nie zu sehen bekommst, und antworten dann. Ob ein Modell das ab Werk tut, zeigt seit Version 0.34.3 ollama show. Bei gemma4:e4b steht dort „thinking … default true“.

Bei Knobelaufgaben ist das ein Gewinn. Beim Aufräumen von diktiertem Text ist es reine Wartezeit, denn dort gibt es nichts zu überlegen. Auf meinem Gerät gemessen, gleiche Aufgabe, gleiches Modell, im Terminal:

Im August: zehnmal schneller bei gleichem Ergebnis. Die Antwort war 45 Wortteile lang; die anderen gut 620 waren Nachdenken über einen Satz, der keins brauchte.

Am 03.11.2026 ist davon im Terminal nichts mehr zu sehen. Ab Werk kamen 44 Wortteile, das Modell hat nicht gedacht, obwohl ollama show „default true“ sagt. Der Schalter spart trotzdem noch Zeit, 25 statt 37 Sekunden. Warum es heute nicht mehr denkt, weiß ich nicht. Rechne damit, dass es bei einem anderen Modell oder einer anderen Version wieder so aussieht wie im August.

ollama run gemma4:e4b --think=false "Räum diesen Text auf: ..."

Es gibt den Schalter auch in Stufen — statt false kannst du low, medium oder high schreiben, sofern das Modell das kann. Und wenn du das Denken nur nicht sehen, aber behalten willst, gibt es dafür --hidethinking. Das ist etwas anderes: Es versteckt die Ausgabe, spart aber keine Sekunde. ollama run --help listet --think, --hidethinking und --verbose auch am 03.11.2026 noch.

Merke

Die Faustregel: Denken ausschalten, wo du die Antwort selbst schon kennst und nur eine saubere Form willst — Aufräumen, Umformulieren, Übersetzen, Zusammenfassen. Anlassen, wo wirklich etwas zu entscheiden ist. Wer es überall anlässt, wartet den ganzen Tag auf Überlegungen zu Kommasetzung.

2. Der blanke Befehl tut je nach Version etwas anderes

Zwei Jahre lang war ollama ohne Zusatz nur eine Hilfeausgabe. Man tippte ollama run …, alles andere war Beiwerk. Mit Version 0.32 änderte sich das:

ollama

Das startete damals einen interaktiven Agenten. Der plaudert nicht nur, sondern kann Code schreiben, Befehle ausführen und im Netz suchen. Aus dem Modellstarter war eine Arbeitsumgebung geworden — mit demselben Befehl, den du seit zwei Jahren tippst.

Heute ist es wieder anders, und es hängt von der Version ab. Auf meinem Gerät läuft Ollama 0.40.14. Dort gibt der blanke Befehl laut Quelltext nur die Hilfe aus. Gesehen habe ich es nicht. Ab Version 0.40.15 (aktuell ist 0.40.16 vom 09.11.2026) zeigt er laut Quelltext beim ersten Mal einen Begrüßungsschirm und danach ein Auswahlmenü. Ganz oben steht „Chat with a model“, darunter „Launch …“ für fremde Programme wie Claude Code. Auch das habe ich nicht gesehen, nur gelesen (Stand 10.11.2026). Den Agenten aus 0.32 gibt es in dieser Form nicht mehr.

Achtung

Zwei Dinge bleiben richtig, sobald du über das Menü oder einen Agenten weitergehst. Erstens: Im Netz suchen ist nicht lokal. Was gesucht wird, verlässt deinen Rechner — das ist der Sinn einer Suche. Zweitens: Befehle ausführen heißt, dass ein Modell etwas auf deiner Platte tut. Beides kann man wollen. Man sollte es nur wissen, bevor man es benutzt.

Wenn du bei ollama run gemma3:1b bleibst, wie dieser Kurs es zeigt, ändert sich für dich nichts. Der Kniff besteht darin, zu wissen, dass hinter dem blanken Befehl je nach Version etwas anderes wartet, bei neueren ein Menü, das mehr anbietet als ein Modell.

3. Modelle mit -cloud oder :cloud laufen nicht bei dir

Das ist der wichtigste Handgriff dieses Kapitels, und es ist eigentlich eine Warnung. Im Ollama-Verzeichnis stehen neben den normalen Einträgen auch solche:

gpt-oss:20b          # lädt herunter, läuft bei dir
gpt-oss:20b-cloud    # läuft auf Ollamas Servern
gemma4:cloud         # neuere Schreibweise, ebenfalls auf Ollamas Servern

Sie stehen im selben Verzeichnis, sehen gleich aus und werden gleich gestartet. Der einzige Unterschied ist die Silbe am Ende: bei den älteren Einträgen -cloud, bei den neueren :cloud. Wer sie überliest, schickt seinen Text an einen fremden Rechner — in einem Kurs, dessen ganzer Zweck es ist, genau das zu vermeiden.

Die Cloud-Modelle sind nicht das Problem. Dass sie im selben Regal stehen, ist es.

Seit Version 0.32.6 (04.08.2026) wird es noch heikler: Gibt es ein Modell nur in der Cloud, bietet ollama run kimi-k3 von selbst kimi-k3:cloud an. Ein Name ganz ohne Zusatz kann also auch in die Cloud führen. Lies, was Ollama dir anbietet, bevor du bestätigst. Und wenn du sicher sein willst: Handgriff 8 schaltet die Cloud ganz ab.

Merke

Es gibt einen zweiten, verlässlicheren Hinweis: Cloud-Modelle verlangen eine Anmeldung bei ollama.com. Wenn dich ein Modell nach einem Konto fragt, ist es keins, das bei dir läuft. Ein örtliches Modell fragt nie nach einem Konto. Der Einrichtungsdialog beim ersten Start (Kapitel 5) ist etwas anderes: In der Desktop-App fragt er einmal, ob du dich anmelden willst, und du wählst „No thanks, I'll use Ollama locally“. An der Kommandozeile fragt Ollama das laut Quelltext seit Version 0.40.1 nicht mehr.

Und der Unterschied ist grundsätzlicher, als eine Datenschutzerklärung es sein kann: Ein Anbieter verspricht, deine Eingaben nicht zu behalten. Das ist ein Versprechen. Ein Modell auf deiner Platte kann nichts weggeben — das ist Bauart. Versprechen lassen sich ändern, Bauart nicht.

4. Ein zu großes Modell läuft trotzdem — nur langsamer

Die verbreitete Annahme lautet: Passt das Modell nicht in den Grafikspeicher, geht es nicht. Das stimmt nicht. Es geht, es wird nur langsamer — und wie viel langsamer, lässt sich steuern.

Der Rechner legt den Teil, der nicht auf die Grafikkarte passt, in den normalen Arbeitsspeicher. Man nennt das Auslagern oder, in den Einstellungen, GPU offload. Und daraus folgt ein Handgriff, der viel Geld spart: Statt einer größeren Grafikkarte kaufst du normalen Arbeitsspeicher dazu. Der kostet einen Bruchteil.

Die c’t hat genau das gemessen: ein Modell mit 63 Gigabyte auf einer Grafikkarte mit nur 24 Gigabyte, mit dazugekauftem Arbeitsspeicher für rund 500 Euro — rund 14 Token pro Sekunde. Das reißt keine Bäume aus, aber es läuft, wo vorher gar nichts lief.

5. Nicht die Rechenleistung entscheidet, sondern die Datentransferrate

Wenn du wissen willst, ob ein Rechner Sprachmodelle flott abspielt, ist die naheliegende Frage — „wie schnell rechnet er?“ — die falsche. Die richtige lautet: Wie schnell kommt der Speicher hinterher?

Das Modell muss für jedes einzelne Wort einmal komplett durch den Speicher gelesen werden. Der Flaschenhals ist also nicht das Rechnen, sondern das Nachschieben. Die c’t hat dasselbe Modell zweimal laufen lassen:

Elfmal mehr Datentransferrate, dreizehnmal mehr Tempo. Die sechzehn Kerne des Prozessors haben daran fast nichts geändert — sie warten die meiste Zeit.

Praktisch heißt das: Eine gebrauchte Grafikkarte mit viel schnellem Speicher schlägt einen neuen Prozessor. Und dass Rechner mit gemeinsamem schnellem Speicher — Apples Bauart und neuerdings auch einige AMD-Geräte — hier gut abschneiden, liegt an derselben Zahl.

6. Dasselbe Modell gibt es in mehreren Stufen

Wenn zwei Modelle 30 und 24 Milliarden Parameter haben, ist das mit 30 dann größer? Nicht unbedingt. Die Dateigröße hängt nicht nur an der Zahl der Parameter, sondern daran, wie genau jeder einzelne gespeichert ist.

Statt jeden Parameter mit voller Genauigkeit abzulegen, wird gerundet — auf acht, vier oder sogar drei Bit. Das spart Platz und bringt Tempo. Rundet man zu grob, wird das Modell schlechter, und zwar auf die unangenehme Art: Es antwortet weiter flüssig, nur falscher.

Was Quantisierung genau ist, steht in Kapitel 2. Hier zählt nur, dass es sie gibt und dass du eine Wahl hast, wo du vielleicht keine vermutet hättest.

7. Dein Bilderordner, durchsuchbar gemacht

Ein Anwendungsfall, der zeigt, wofür ein örtliches Modell wirklich taugt — und der ohne Bedenken funktioniert, weil kein einziges Bild das Haus verlässt.

Jeder hat einen Ordner voller Bildschirmfotos. Man findet dort nichts wieder, weil die Dateien Screenshot_2026-03-14_18-22-07.png heißen. Ein Modell, das Bilder versteht, kann jedes davon beschreiben — und plötzlich ist der Ordner durchsuchbar.

ollama run gemma3:4b "Beschreibe dieses Bild. Nenne
auch den Text, der darauf zu lesen ist. C:\Bilder\Screenshot_2026-03-14.png"

Der Pfad gehört in den Text der Frage, so zeigt es auch die Herstellerdoku. Ob er am Satzende steht oder vorn im Text, hat bei mir keinen Unterschied gemacht: Ollama hat ihn beide Male erkannt und meldet das mit Added image '…'. Fehlt diese Meldung, prüf den Pfad.

Für einen einzelnen Blick genügt das. Der eigentliche Nutzen entsteht, wenn man es über den ganzen Ordner laufen lässt und die Beschreibungen in eine Tabelle schreibt — dann findest du das Bild später über die Suche nach „Rechnung“ oder „Fehlermeldung“.

Merke

Wenn du so etwas über viele Dateien laufen lässt: Schreib nach jedem Bild das Ergebnis weg und überspring, was schon in der Tabelle steht. Dann kannst du abbrechen und später weitermachen, ohne von vorn anzufangen. Bei tausend Bildern ist das der Unterschied zwischen brauchbar und ärgerlich.

8. Die Cloud ganz abschalten

Handgriff 3 sagt dir, woran du ein Cloud-Modell erkennst. Sicherer ist, es gar nicht erst starten zu können. Dafür gibt es einen Schalter: OLLAMA_NO_CLOUD. Laut Herstellerdoku schaltet er die Cloud-Modelle ab und auch die Websuche, denn die läuft über Ollamas Cloud (Handgriff 2).

1. Umgebungsvariable setzen.
   

   [Environment]::SetEnvironmentVariable("OLLAMA_NO_CLOUD", "1", "User")

   Dieselbe Art Zeile wie für den Modellordner in Kapitel 5.
2. Ollama beenden und neu starten.
   Die Einstellung wird beim Start gelesen, nicht im laufenden Betrieb.
3. Nachsehen, ob es gegriffen hat.
   Im server.log (%LOCALAPPDATA%\Ollama) steht dann die Zeile Ollama cloud disabled: true. Und ein Cloud-Modell lässt sich nicht mehr starten: ollama run gemma4:cloud endet bei mir mit der Fehlermeldung „ollama cloud is disabled: remote model details are unavailable“.

Zwei andere Wege nennt die Herstellerdoku: einen Schalter in den Einstellungen der App oder den Eintrag "disable_ollama_cloud": true in der Datei server.json im Ordner .ollama deines Benutzerordners. Gemessen habe ich nur die Umgebungsvariable (03.11.2026, Ollama 0.40.14).

Warum es hier weniger sind als drüben

Acht Handgriffe. In den anderen Kursen sind es vierzehn und mehr. Das ist kein Versäumnis, sondern liegt an der Bauart — nur anders, als ich zuerst dachte.

Die ursprüngliche Begründung war: Eine Kommandozeile kann nichts verstecken. Das war zu schlicht. Richtiger ist: Sie versteckt nichts hinter Knöpfen — aber sie versteckt sehr wohl durch Entfernung. Die Silbe -cloud (oder :cloud) steht direkt vor deiner Nase und ist trotzdem die gefährlichste Falle des ganzen Kurses. Das Auslagern ist nirgends angeschrieben. Und dass der blanke Befehl je nach Software-Stand etwas anderes tut, erfährt man nur, wenn man Änderungsnotizen liest.

Merke

Daraus folgt die Gewohnheit für diesen Kurs — und sie ist eine andere als drüben. Dort heißt sie: einmal im Monat / tippen und die Liste ansehen. Hier gibt es keine Liste. Hier heißt sie: Vor jedem Aktualisieren einmal nachsehen, was sich geändert hat. Bei einem Werkzeug, das deine Dateien anfasst und neuerdings ins Netz kann, ist das keine Neugier, sondern Sorgfalt.

In einem Satz

An einer Kommandozeile ist nichts versteckt, hieß es. Das stimmte, solange Ollama nur Modelle startete. Es startet inzwischen mehr.