Lokale KI · Am Ball bleiben · Kapitel 20 · 8 Min.

Quellen und Weiterlesen

Woher das Wissen stammt, was ich selbst gemessen habe — und warum eigene Messung hier über der Dokumentation steht.

Was hier steht, ist nicht ausgedacht. Es kommt aus drei Töpfen, und die haben in diesem Kurs eine andere Rangfolge als in den anderen.

Die Rangfolge

1. Die eigene Messung. Jede Zeit- und Größenangabe in diesem Kurs stammt von meinem Rechner, mit Datum. Bei lokaler KI hängt alles an der Hardware — eine fremde Zahl sagt über dein Gerät nichts.
2. Die offizielle Dokumentation. Für alles, was keine Frage der Hardware ist: Befehle, Einstellungen, Modellangaben.
3. Videos und Blogs. Nützlich, um zu sehen, wie andere arbeiten. Als Faktenquelle zu langsam und bei Hardwarefragen fast immer irreführend.

Und eine vierte Quelle, der ich nicht mehr traue

Beim Schreiben dieses Kurses ist mir etwas Unangenehmes aufgefallen. Meine eigenen Notizen neben dem eigenen Code waren an drei Stellen falsch:

Alle drei Notizen waren zum Zeitpunkt des Schreibens richtig. Der Code ist danach weitergegangen, die Notiz nicht. Für diesen Kurs habe ich deshalb im Quelltext nachgesehen, nicht in der Beschreibung daneben.

Achtung

Das gilt auch für alles, was du im Netz zu diesen Werkzeugen liest — einschließlich dieser Seite. Eine Anleitung ist eine Momentaufnahme. Unten auf jeder Kapitelseite steht ein Datum. Ist es älter als das, was dein Bildschirm sagt, glaub deinem Bildschirm.

Die offiziellen Seiten

Was ich wo gemessen habe

Alle Zahlen dieses Kurses stammen von einem Gerät mit vier Kernen, 30 GB Arbeitsspeicher und integrierter AMD-Grafik (Ryzen 5 3400G, Radeon Vega 11).

Drei Messreihen: die erste am 15.08.2026 mit Ollama 0.24.0, die zweite am 24.08.2026 mit Ollama 0.32.15, die dritte am 03.11.2026 mit Ollama 0.40.14. Wo mehrere vorliegen, stehen sie nebeneinander — die neue vorn, die alten in Klammern. Das ist Absicht: Der Vergleich sagt mehr als jede Einzelmessung.

Am 10.11.2026 habe ich Doku und Quelltext bis Ollama 0.40.16 (09.11.2026) gegengelesen. Neu gemessen habe ich nicht. Die Schalter (OLLAMA_VULKAN, OLLAMA_IGPU_ENABLE, OLLAMA_NO_CLOUD), die Unterbefehle und die Modellnamen sind dort unverändert. Nur der blanke Befehl ollama verhält sich anders als beschrieben (Kapitel 18, Handgriff 2).

Wenn du dieselben Messungen auf deinem Rechner machst, werden andere Zahlen herauskommen. Das ist kein Widerspruch — das ist der Punkt.

Fremde Messungen, die ich übernommen habe

Kapitel 18 enthält Zahlen, die nicht von meinem Gerät stammen — mein Rechner kann sie gar nicht erzeugen, weil ihm die Grafikkarte dafür fehlt. Sie stammen aus einem Test der c’t und stehen hier, weil sie einen Zusammenhang zeigen, den ich sonst nur behaupten könnte:

Nach der Rangfolge oben ist das eine Stufe schlechter als eigene Messung. Sie stehen trotzdem drin, weil sie eine Größenordnung zeigen und nicht eine Empfehlung geben — und weil klar dabeisteht, woher sie kommen. Wenn du eine Grafikkarte hast: Miss nach und glaub mir nicht.

Die Videos, aus denen Kapitel 18 entstanden ist

• Ein deutschsprachiges Video über 22 Minuten zu lokaler KI und Hardware. Die beste der drei Quellen — daher die beiden Messungen oben und der Zusammenhang mit der Datentransferrate.
• Ein englischsprachiges Video über 8 Minuten zu einer Ollama-Neuerung. Sprecher ist eine KI-Figur, die Versionsnummern durcheinanderbringt — die Sache dahinter stimmte aber, nachgeprüft an den Änderungsnotizen von Ollama. Daraus stammt der Hinweis auf den interaktiven Agenten, den es in Version 0.32 gab. Wie sich der blanke Befehl seitdem geändert hat, steht in Kapitel 18, Handgriff 2.
• Ein englischsprachiges Video über 15 Minuten zum Beschriften von Bildern mit einem örtlichen Modell. Der Gedanke ist übernommen, das gezeigte Modell nicht — es ist inzwischen zwei Generationen alt.

Merke

Bei allen dreien war dasselbe nötig: nachsehen, was heute gilt. Ein Video ist ein Zeitpunkt, kein Zustand. Das mittlere zeigt es am deutlichsten — die Neuerung war echt, die genannte Versionsnummer gab es nie.

Was das Nachmessen ergeben hat

Zwischen der ersten und der zweiten Messreihe liegen 26 stabile Ollama-Versionen (0.24.0 bis 0.32.15), bis zur dritten rund 40 weitere (bis 0.40.14), danach noch 0.40.15 und 0.40.16, die ich nur gegengelesen und nicht gemessen habe. Was sich dabei geändert hat, ist lehrreicher als jede einzelne Zahl. Zuerst der Stand vom 24.08.2026:

• Doppelt so schnell, ohne Zutun. Dieselbe Hardware, dieselben Modelle — der Prozessorweg hat massiv aufgeholt.
• Ein Schalter schien den Namen gewechselt zu haben. Das war ein Irrtum, die Auflösung steht unten.
• Ein Fehler ist verschwunden. Die Warnung vor dem größten Modell unter Vulkan hat sich erledigt.
• Ein neues Verhalten ist dazugekommen. Das größte Modell denkt jetzt ab Werk und wurde dadurch zwanzigmal langsamer. Im Terminal gilt das am 03.11. nicht mehr.
• Ein Befund hat gehalten. Das kleine Modell verschluckte den Halbsatz — in allen vier Läufen. Auch das hat sich am 03.11. geändert, siehe unten.

Und der Stand vom 03.11.2026, mit Ollama 0.40.14:

• Die Grafik bringt wieder das Doppelte. Bei allen drei Modellen. Im August war der Vorteil fast weg.
• Einen Namenswechsel gab es nie. Vulkan ist ab Werk an, die integrierte Grafik ab Werk ausgeschlossen: zwei Schalter nebeneinander, OLLAMA_VULKAN und OLLAMA_IGPU_ENABLE. Wer meine Zeile vom August befolgt hat, hat nichts falsch gemacht, aber die Erklärung war falsch.
• Das größte Modell denkt im Terminal nicht mehr aus. 37 statt 94 Sekunden ab Werk, 25 mit --think=false.
• Das kleine Modell scheitert anders. Es verschluckt den Halbsatz nicht mehr. Es gibt den Rohtext aber unverändert zurück.
• Eine Schraube wirkt nicht mehr. num_thread hat bei mir nichts bewirkt und steht nicht mehr in der Doku.

Im August sahen vier von fünf Punkten überholt aus und einer stabil: der, der von der Größe des Modells handelt. Die dritte Messreihe hat auch ihn im Wortlaut gekippt, aber nicht in der Lehre: Das kleine Modell schafft die Aufgabe nicht, nur die Art zu scheitern ist eine andere. Das ist die Faustregel für die Haltbarkeit: Zahlen altern, Bauart nicht.

Wenn du selber messen willst

1. Nimm eine Aufgabe, die du wirklich hast.
   Nicht „schreib ein Gedicht“. Nimm einen Text, den du kennst, und eine Anweisung, die du auch sonst geben würdest.
2. Miss kalt und warm getrennt.
   Der erste Aufruf nach dem Start ist nicht vergleichbar mit dem zweiten. Beides ist interessant, aber nicht dasselbe.
3. Prüfe das Ergebnis, nicht die Stoppuhr.
   Schneller falsch ist nicht besser. Die Frage ist immer: Steht noch alles drin?
4. Schreib das Datum dazu.
   Sonst weißt du in einem halben Jahr nicht mehr, welche Programmversion das war.

Wenn dir die Kommandozeile zu sperrig ist

Wer lieber klickt als tippt: LM Studio ist ein anderes Werkzeug, mit Oberfläche. Laut Herstellerdoku lädst du dort Modelle über Hugging Face, stellst Kontextgröße und Auslagerung auf die Grafik pro Modell ein, und es bringt einen lokalen Server auf Port 1234 mit. Empfohlen sind dort 16 GB Arbeitsspeicher und 4 GB eigener Grafikspeicher; den hat mein Rechner nicht. Ob LM Studio auf meiner integrierten Grafik mitrechnet, konnte ich in der Doku nicht belegen, und gemessen habe ich es nicht. Der Kurs bleibt bei Ollama.

Die anderen Kurse hier

Die Lernwerkstatt hat inzwischen sechs Kurse: Claude, ChatGPT, Lokale KI (dieser hier), Copilot mit 14 Kapiteln, Gemini mit 18 Kapiteln und Der Vergleich mit 17 Kapiteln. Die Kurse zu Claude und ChatGPT gehen deutlich tiefer, weil dort mehr zu erklären ist.

Wer die beiden gelesen hat, merkt den Unterschied im Ton. Dort geht es darum, ein mächtiges Werkzeug zu bändigen. Hier darum, aus einem schwachen etwas Nützliches zu bauen. Das ist eine andere Sorte Handwerk, und mir macht sie mehr Spaß.

In einem Satz

In den anderen Kursen gewinnt bei Widerspruch die Dokumentation. Hier gewinnt die eigene Messung — weil Tempo von deinem Gerät abhängt, nicht vom Hersteller.