Lokale KI · Grundlagen · Kapitel 3 · 10 Min.

Was dein Rechner hergibt

Der ehrliche Rahmen: warum es ohne Grafikkarte zäh wird, was drei Messreihen daran geändert haben — und was die integrierte Grafik bringt. Dreimal gemessen, zuletzt am 03.11.2026.

Dieses Kapitel steht mit Absicht vor der Installation. Wer erst einrichtet und dann merkt, dass es zäh läuft, hört nach zwei Tagen wieder auf. Wer es vorher weiß, hat die richtige Erwartung und bleibt dabei.

Der eine Satz

Ein Sprachmodell rechnet auf einer Grafikkarte schnell und auf dem Hauptprozessor langsam. Das ist keine Einstellungssache, das ist Bauart: Eine Grafikkarte macht tausende kleine Rechnungen gleichzeitig, ein Prozessor ein paar wenige nacheinander.

Mein Rechner als Maßstab

Damit die Zahlen weiter unten etwas bedeuten, hier das Gerät, auf dem ich sie gemessen habe. Kein Sonderfall, ein normaler Bürorechner:

„Integriert“ heißt: Die Grafikeinheit sitzt im Prozessor mit drin und hat keinen eigenen Speicher. Sie borgt sich Arbeitsspeicher vom Rest des Rechners. Das ist der Normalfall in Bürogeräten und Notebooks ohne Zusatzkarte.

So sieht es ab Werk aus

Ich habe drei Modelle dieselbe Aufgabe rechnen lassen, die ich täglich stelle: einen diktierten Rohtext aufräumen. Kalt heißt, das Modell muss erst von der Platte in den Speicher. Dafür werfe ich es vorher mit ollama stop hinaus (Kapitel 6). Warm heißt, es liegt schon dort.

Gemessen am 03.11.2026 mit Ollama 0.40.14, auf dem Prozessor, über die Schnittstelle aus Kapitel 7. In Klammern stehen die älteren Werte, zuerst die vom 24.08.2026 (Version 0.32.15), dann die vom 15.08.2026 (Version 0.24.0) — warum die danebenstehen, steht gleich darunter. Doku und Quelltext habe ich am 10.11.2026 bis Ollama 0.40.16 gegengelesen. Die Schalter und Modellnamen sind dort unverändert, neu gemessen habe ich nicht.

Beim großen Modell sind die Klammerwerte vom 24.08. (173,2 und 185,5 Sekunden) nicht gleich mit gleich zu vergleichen: Damals dachte es mit, heute nicht (dazu gleich mehr).

Die Zeiten liegen heute über denen vom August: kalt 14,8 statt 8,6 Sekunden, warm 4,1 statt 2,5 beim kleinen Modell. Das lese ich mit Vorsicht, denn diese Messung lief bei Hintergrundlast. Die Messung mit Schalter weiter unten entstand direkt danach. Ob die Zeiten wirklich schlechter geworden sind oder der Rechner nur beschäftigt war, kann ich nicht sagen.

Im August war das die gute Nachricht: Dieselbe Hardware, dasselbe Modell, dieselbe Aufgabe — und alles war gut doppelt so schnell geworden. Ich hatte dafür nichts getan außer zu aktualisieren. Die dritte Zeile sah damals aus wie ein Unfall (173 Sekunden). Sie war keiner, und was dahintersteckte, war der nützlichste Fund dieses Kapitels.

Das größte Modell und das Denken

gemma4:e4b hat im August aufgehört, einfach zu antworten. Es dachte erst nach — und zwar ab Werk, ohne dass man es einschaltet. Für unsere Aufgabe sah das im Terminal so aus, und so sieht es heute aus:

Im August war die Antwort am Ende 45 Wortteile lang. Die anderen rund 620 waren Nachdenken, das du nie zu sehen bekommst. Zehnmal so lange warten für ein Ergebnis, das sich nicht unterscheidet.

Am 03.11. ist davon im Terminal nichts mehr zu sehen. Ab Werk kommen 44 Wortteile, rund 5,6 Wörter je Sekunde, 37 Sekunden gesamt. ollama show gemma4:e4b führt „thinking“ zwar weiter mit „default true“. Gedacht hat das Modell bei mir im Terminal trotzdem nicht. Über die Schnittstelle, ohne dass ich think mitschicke, denkt es gar nicht. Warum das so ist, weiß ich nicht.

Merke

Denken hilft beim Knobeln — bei Rechenaufgaben, beim Programmieren, bei Fragen mit Haken. Beim Aufräumen von Text hilft es nichts, denn dort ist nichts zu überlegen. Für die tägliche Arbeit dieses Kurses schaltest du es also ab. Wie, steht als Handgriff 1 in Kapitel 18.

Der Tipp bleibt richtig. Mit --think=false waren es am 03.11. 24 statt 37 Sekunden: Die Dramatik ist weg, der Gewinn nicht. In der Tabelle oben liegt das größte Modell warm bei 11,1 Sekunden — nicht bei 185 wie im August. Es ist damit wieder ein normales Mitglied der Reihe, nur eben das langsamste.

Zum Vergleich: Ein Mensch liest etwa drei Wörter pro Sekunde laut vor. Das mittlere Modell schreibt mit 4,8 Wörtern je Sekunde gut anderthalbmal so schnell, wie du liest — mit dem Grafikschalter (gleich darunter) mit 8,9 knapp dreimal so schnell. Zum Zuschauen reicht das bequem. Zum Verarbeiten von zwanzig Seiten immer noch nicht.

Der Schalter, den kaum jemand kennt

Ollama kann auch integrierte AMD-Grafik zum Rechnen heranziehen — über eine Schnittstelle namens Vulkan. Vulkan selbst ist ab Werk an. Die integrierte Grafik dagegen ist ab Werk ausgeschlossen. Es sind also zwei Schalter, und einer davon bleibt zu.

Achtung — zwei Schalter, kein Namenswechsel

Am 24.08.2026 stand hier, OLLAMA_VULKAN habe den Namen gewechselt und heiße heute OLLAMA_IGPU_ENABLE. Das war falsch. Beide gibt es nebeneinander, und sie tun Verschiedenes. Vulkan ist ab Werk an; im Protokoll steht OLLAMA_VULKAN:true, und die Herstellerdoku (docs.ollama.com/gpu) sagt dasselbe. Ausgeschlossen ist die integrierte Grafik, und genau die haben wir hier. Der Schalter, der sie freigibt, heißt OLLAMA_IGPU_ENABLE — sinngemäß „integrierte Grafik zulassen“.

Woher die Verwechslung kam: Auf Ollama 0.24.0 war Vulkan noch ein Versuchsschalter und ab Werk aus. Seit Version 0.30.0 ist es ab Werk an, und der zweite Schalter ist dazugekommen. Wer heute nach der alten Anleitung OLLAMA_VULKAN=1 setzt, ändert nichts, denn Vulkan läuft ohnehin. ollama serve --help listet (03.11.2026, Version 0.40.14) nur OLLAMA_IGPU_ENABLE, „Enable integrated GPUs“, ab Werk aus. Im Quelltext von 0.40.16 steht es am 10.11.2026 unverändert.

Gesetzt wird der Schalter wie OLLAMA_MODELS in Kapitel 5: als Umgebungsvariable mit dem Wert 1, danach Ollama beenden und neu starten.

Solange der Schalter aus ist, meldet ollama ps in der Spalte PROCESSOR nüchtern 100% CPU — nichts liegt auf der Grafik. Legst du ihn um, steht dort 100% GPU. Im Protokoll (%LOCALAPPDATA%\Ollama\server.log) erscheint dann eine Zeile inference compute mit library=Vulkan und type=iGPU, dazu Angaben wie Vulkan0 KV buffer size. Einen Fehler gab es dort nicht. Im August stand an dieser Stelle offloaded 27/27 layers to GPU.

Dieselbe Messung, gleiche Aufgabe, nur der Schalter umgelegt: 03.11.2026, Ollama 0.40.14, jeweils ohne → mit Schalter. In Klammern die Werte vom 24.08.2026 (Version 0.32.15):

Die Messung ohne Schalter lief bei Hintergrundlast, die mit Schalter direkt danach. Beim großen Modell lief die Aufgabe ohne Denken; die Klammerwerte vom August sind dort mit --think=false gemessen.

Und jetzt das Kleingedruckte

Hier stand einmal eine Warnung, und sie ist überholt. Beim Nachmessen gehören alle Hälften erzählt — die alte Beobachtung und was aus ihr geworden ist. Inzwischen sind es drei Zeitpunkte.

Im August hatte ich beides mit einer Ursache erklärt: Das Programm sei besser geworden, der Prozessorweg habe den Vorsprung der Grafik eingeholt, und der Fehler sei behoben. Die Messung vom 03.11. stützt den ersten Teil nicht mehr: Der Vorsprung der Grafik ist wieder da. Warum er im August fast weg war, weiß ich nicht. Zu dem Fehler steht in den Änderungsnotizen zwischen 0.24.0 und 0.32.15 nichts.

Merke

Die Warnung von damals war richtig, und ihre Begründung ist es immer noch: Einen solchen Schalter prüft man nach dem Umlegen nach, statt der Geschwindigkeitsanzeige zu glauben. Schneller falsch ist nicht besser. Nur das Beispiel dazu ist abgelaufen — und genau deshalb steht unter jeder Tabelle hier ein Datum und eine Versionsnummer. Das gilt auch für die Entwarnung vom August: Der Vorsprung der Grafik, den ich damals abgehakt hatte, war am 03.11. wieder da.

Was bleibt für dich? Lohnt sich der Schalter? Am 03.11.2026 auf meinem Gerät: ja, bei allen drei Modellen rund das Doppelte (im August nur beim großen deutlich, beim mittleren knapp, beim kleinen gar nicht). Mein Rat bleibt, OLLAMA_IGPU_ENABLE=1 zu setzen. Danach rechnest du dieselbe Aufgabe wie vorher und vergleichst den Text, nicht nur die Zeit. Und wenn er bei dir nichts bringt, lass ihn aus.

Fürs Diktat hilft der Schalter gar nicht

Eine Sache, die man leicht durcheinanderbringt: Der Schalter wirkt nur auf Ollama, also auf den Textteil. Die Spracherkennung ist ein anderes Programm und hält sich nicht daran.

Whisper läuft in der Fassung, die alle benutzen, für die schnelle Rechnung ausschließlich über NVIDIA-Bibliotheken. Ohne NVIDIA-Karte gibt es dort keinen Ausweg — kein Vulkan, keine Einstellung, nichts. Das Diktat bleibt auf dem Prozessor.

Bei mir heißt das konkret: 8,1 Sekunden Rechnen für 6,2 Sekunden Gesagtes (gemessen am 15.08.2026, seither nicht neu gemessen). Langsamer als Echtzeit. Man spricht einen Satz und wartet dann kurz. Im Alltag stört das weniger, als es sich liest — aber es ist die Wahrheit über das Verfahren.

Zum Stand am 03.11.2026: Installiert sind faster-whisper 1.2.1 und ctranslate2 4.8.2, Modell small, gerechnet auf dem Prozessor mit int8. Das Laden beim Start dauerte zuletzt 7,4 und 12,0 Sekunden.

Die Faustregel

Was auf der Platte liegt, muss beim Rechnen in den Arbeitsspeicher. Ein Modell von 3,3 GB belegt also gut 3,3 GB, dazu etwas Verwaltung. Mit 8 GB Arbeitsspeicher sind kleine und mittlere Modelle machbar, mit 16 GB hast du Luft.

Was damit geht

• Diktiertes glätten, Füllwörter raus, Satzzeichen rein
• Aus zwei Minuten Gerede eine Stichpunktliste machen
• Eine gesprochene Notiz in eine höfliche E-Mail verwandeln
• Einen kurzen Text einordnen, übersetzen, zusammenfassen
• Namen und Nummern in einem Dokument finden, das nicht nach draußen darf
• Etwas nachschlagen, während kein Netz da ist

Was diese Aufgaben gemeinsam haben: Du wartest ohnehin gerade. Du hast eben zu Ende gesprochen, du legst das Blatt weg, du greifst zur Tasse. Fünf Sekunden fallen da nicht auf.

Was nicht geht

• Ein langes Dokument zusammenfassen — bei knapp 5 Wörtern je Sekunde (mit Grafikschalter knapp 9) sitzt du Minuten davor
• Programmieren lassen
• Sich unterhalten wie mit Claude oder ChatGPT
• Alles, wo du mit dem Finger auf dem Bildschirm wartest, bis es endlich weitergeht

Lokale KI ist nicht die kleine Ausgabe der Cloud. Es ist ein anderes Werkzeug mit einer anderen Stärke: Sie fragt nichts, sie schickt nichts, sie kostet nichts — und sie läuft auch dann, wenn das Netz weg ist.

In einem Satz

Ohne Grafikkarte ist nicht der Speicher die Grenze, sondern das Tempo. Das Modell läuft — es läuft nur langsam.