Lokale KI · Grundlagen · Kapitel 3 · 7 Min.

Was dein Rechner hergibt

Der ehrliche Rahmen: warum es ohne Grafikkarte zäh wird, was ein Versionssprung daran geändert hat — und warum das größte Modell plötzlich Minuten braucht. Zweimal gemessen, ein Jahr Software dazwischen.

Dieses Kapitel steht mit Absicht vor der Installation. Wer erst einrichtet und dann merkt, dass es zäh läuft, hört nach zwei Tagen wieder auf. Wer es vorher weiß, hat die richtige Erwartung und bleibt dabei.

Der eine Satz

Ein Sprachmodell rechnet auf einer Grafikkarte schnell und auf dem Hauptprozessor langsam. Das ist keine Einstellungssache, das ist Bauart: Eine Grafikkarte macht tausende kleine Rechnungen gleichzeitig, ein Prozessor ein paar wenige nacheinander.

Mein Rechner als Maßstab

Damit die Zahlen weiter unten etwas bedeuten, hier das Gerät, auf dem ich sie gemessen habe. Kein Sonderfall, ein normaler Bürorechner:

„Integriert“ heißt: Die Grafikeinheit sitzt im Prozessor mit drin und hat keinen eigenen Speicher. Sie borgt sich Arbeitsspeicher vom Rest des Rechners. Das ist der Normalfall in Bürogeräten und Notebooks ohne Zusatzkarte.

So sieht es ab Werk aus

Ich habe drei Modelle dieselbe Aufgabe rechnen lassen, die ich täglich stelle: einen diktierten Rohtext aufräumen. Kalt heißt, das Modell muss erst von der Platte in den Speicher. Warm heißt, es liegt schon dort.

Gemessen am 24.08.2026 mit Ollama 0.32.15. Die Zahlen in Klammern sind die vom 15.08.2026 mit Version 0.24.0 — warum die danebenstehen, steht gleich darunter.

Die ersten beiden Zeilen sind die gute Nachricht: Dieselbe Hardware, dasselbe Modell, dieselbe Aufgabe — und alles ist gut doppelt so schnell geworden. Ich habe dafür nichts getan außer zu aktualisieren. Die dritte Zeile sieht dagegen aus wie ein Unfall. Sie ist keiner, und was dahintersteckt, ist der nützlichste Fund dieses Kapitels.

Warum das größte Modell plötzlich Minuten braucht

gemma4:e4b hat aufgehört, einfach zu antworten. Es denkt jetzt erst nach — und zwar ab Werk, ohne dass man es einschaltet. Für unsere Aufgabe sieht das so aus:

Die Antwort ist am Ende 45 Wortteile lang. Die anderen rund 620 sind Nachdenken, das du nie zu sehen bekommst. Zehnmal so lange warten für ein Ergebnis, das sich nicht unterscheidet.

Merke

Denken hilft beim Knobeln — bei Rechenaufgaben, beim Programmieren, bei Fragen mit Haken. Beim Aufräumen von Text hilft es nichts, denn dort ist nichts zu überlegen. Für die tägliche Arbeit dieses Kurses schaltest du es also ab. Wie, steht als Handgriff 1 in Kapitel 18.

Und damit rückt die Tabelle oben gerade: Mit abgeschaltetem Denken liegt das größte Modell bei 8,9 Sekunden — nicht bei 185. Es ist damit wieder ein normales Mitglied der Reihe, nur eben das langsamste.

Zum Vergleich: Ein Mensch liest etwa drei Wörter pro Sekunde laut vor. Das mittlere Modell schreibt also gut doppelt so schnell, wie du lesen kannst. Zum Zuschauen reicht das bequem. Zum Verarbeiten von zwanzig Seiten immer noch nicht.

Der Schalter, den kaum jemand kennt

Ollama kann auch integrierte AMD-Grafik zum Rechnen heranziehen — über eine Schnittstelle namens Vulkan. Sie ist ab Werk ausgeschaltet.

Achtung — der Schalter heißt inzwischen anders

Hier stand bis zum 24.08.2026 OLLAMA_VULKAN. Diesen Namen führt Ollama nicht mehr in seiner Liste. Der Schalter, der heute wirkt, heißt OLLAMA_IGPU_ENABLE — sinngemäß „integrierte Grafik zulassen“. Vulkan selbst ist kein Sonderfall mehr; ausgeschlossen wird jetzt die integrierte Grafik, und genau die haben wir hier.

Solange der Schalter aus ist, meldet ollama ps in der Spalte PROCESSOR nüchtern 100% CPU — nichts liegt auf der Grafik. Legst du ihn um, steht dort 100% GPU, und im Protokoll erscheint offloaded 27/27 layers to GPU.

Dieselbe Messung, gleiche Aufgabe, nur der Schalter umgelegt:

Und jetzt das Kleingedruckte

Hier stand einmal eine Warnung, und sie ist überholt. Beim Nachmessen gehören beide Hälften erzählt — die alte Beobachtung und was aus ihr geworden ist.

Beides hat dieselbe Ursache: Das Programm ist besser geworden. Der Prozessorweg hat so viel aufgeholt, dass er den Vorsprung der Grafik eingeholt hat — was der Schalter früher brachte, bekommst du heute geschenkt. Und der Fehler, vor dem ich gewarnt habe, ist behoben worden.

Merke

Die Warnung von damals war richtig, und ihre Begründung ist es immer noch: Einen solchen Schalter prüft man nach dem Umlegen nach, statt der Geschwindigkeitsanzeige zu glauben. Schneller falsch ist nicht besser. Nur das Beispiel dazu ist abgelaufen — und genau deshalb steht unter jeder Tabelle hier ein Datum und eine Versionsnummer.

Was bleibt für dich? Lohnt sich der Schalter noch? Auf meinem Gerät: für das mittlere Modell knapp (rund 10 % schneller), für das kleine gar nicht, für das große deutlich — aber nur, wenn du ohnehin das Denken abschaltest. Probier ihn aus, miss nach, und wenn er nichts bringt, lass ihn aus. Er ist kein Muss mehr, sondern eine Option.

Fürs Diktat hilft der Schalter gar nicht

Eine Sache, die man leicht durcheinanderbringt: Der Schalter wirkt nur auf Ollama, also auf den Textteil. Die Spracherkennung ist ein anderes Programm und hält sich nicht daran.

Whisper läuft in der Fassung, die alle benutzen, für die schnelle Rechnung ausschließlich über NVIDIA-Bibliotheken. Ohne NVIDIA-Karte gibt es dort keinen Ausweg — kein Vulkan, keine Einstellung, nichts. Das Diktat bleibt auf dem Prozessor.

Bei mir heißt das konkret: 8,1 Sekunden Rechnen für 6,2 Sekunden Gesagtes. Langsamer als Echtzeit. Man spricht einen Satz und wartet dann kurz. Im Alltag stört das weniger, als es sich liest — aber es ist die Wahrheit über das Verfahren.

Die Faustregel

Was auf der Platte liegt, muss beim Rechnen in den Arbeitsspeicher. Ein Modell von 3,3 GB belegt also gut 3,3 GB, dazu etwas Verwaltung. Mit 8 GB Arbeitsspeicher sind kleine und mittlere Modelle machbar, mit 16 GB hast du Luft.

Was damit geht

• Diktiertes glätten, Füllwörter raus, Satzzeichen rein
• Aus zwei Minuten Gerede eine Stichpunktliste machen
• Eine gesprochene Notiz in eine höfliche E-Mail verwandeln
• Einen kurzen Text einordnen, übersetzen, zusammenfassen
• Namen und Nummern in einem Dokument finden, das nicht nach draußen darf
• Etwas nachschlagen, während kein Netz da ist

Was diese Aufgaben gemeinsam haben: Du wartest ohnehin gerade. Du hast eben zu Ende gesprochen, du legst das Blatt weg, du greifst zur Tasse. Fünf Sekunden fallen da nicht auf.

Was nicht geht

• Ein langes Dokument zusammenfassen — bei 6 Wörtern je Sekunde sitzt du Minuten davor
• Programmieren lassen
• Sich unterhalten wie mit Claude oder ChatGPT
• Alles, wo du mit dem Finger auf dem Bildschirm wartest, bis es endlich weitergeht

Lokale KI ist nicht die kleine Ausgabe der Cloud. Es ist ein anderes Werkzeug mit einer anderen Stärke: Sie fragt nichts, sie schickt nichts, sie kostet nichts — und sie läuft auch dann, wenn das Netz weg ist.

In einem Satz

Ohne Grafikkarte ist nicht der Speicher die Grenze, sondern das Tempo. Das Modell läuft — es läuft nur langsam.