Lokale KI · Bevor du anfängst · Kapitel 1 · 4 Min.

Warum lokal

Was „lokal“ heißt, was dieser Kurs abdeckt — und was er bewusst weglässt.

Seit Monaten diktiere ich fast alles. Ich halte eine Taste, rede, lasse los, und der Text steht im Feld. Das Ding dahinter habe ich selbst gebaut. Es hat kein Konto, keine Rechnung, keine Internetverbindung. Wenn ich den Stecker ziehe, funktioniert es weiter.

Dieser Kurs ist der Mitschrieb davon. Er erklärt, wie man eine KI auf den eigenen Rechner holt, was sie dort taugt und wo sie aufhört.

Was „lokal“ heißt

Ein Sprachmodell ist eine Datei. Ein paar hundert Megabyte bis ein paar Gigabyte, die auf deiner Festplatte liegen. Lokal heißt: Diese Datei liegt bei dir, gerechnet wird in deinem Gehäuse, und was du eintippst oder sprichst, verlässt den Rechner nicht.

Kein Konto. Keine monatliche Gebühr. Kein Kontingent, das um halb elf aufgebraucht ist. Und keine Übertragung an eine Firma, deren Geschäftsmodell du nicht kennst.

Der Preis

Damit du es nicht erst nach dem dritten Kapitel merkst: Es ist langsamer. Deutlich. Bei mir braucht die Spracherkennung für sechs Sekunden Gesagtes gut acht Sekunden Rechnen. Ein Satz, den ein Chat im Netz in einer Sekunde ausspuckt, dauert hier fünf.

Das klingt nach einem schlechten Geschäft, und für manche Aufgaben ist es das auch. Für andere merkst du es nicht, weil du in der Zeit ohnehin gerade den Mund zumachst. Welche Aufgaben das sind, steht in Kapitel 3. Das ist das ehrlichste Kapitel des Kurses, und es kommt bewusst vor der Installation.

Zwei Werkzeuge, ein Rechner

„Lokale KI“ ist ein weites Feld. Damit dieser Kurs nicht zum Grabbelkorb wird, hier die Grenze — zwei Werkzeuge, mehr nicht:

• Ollama lässt Sprachmodelle auf deinem Rechner laufen. Es ist der Motor. Text rein, Text raus.
• Whisper macht aus gesprochener Sprache Text. Das ist Diktat, und es ist die Sache, die man am schnellsten nicht mehr missen will.

Beides zusammen ergibt mehr als die Summe. Whisper schreibt auf, was du sagst, Ollama räumt hinterher auf — und plötzlich diktierst du eine ordentliche E-Mail, während du die Kaffeetasse abstellst. Wie das verdrahtet ist, steht im Teil Sprache.

Aus derselben Ecke kommt ein drittes Werkzeug, das ich gebaut habe: ein Schwärzer für PDFs. Er streicht Namen, Kontonummern und Aktenzeichen aus einem Dokument, bevor es irgendwo hochgeht. Das ist für mich der beste Grund für lokale KI überhaupt, und er bekommt einen eigenen Teil.

Was hier nicht steht

Keine Bildgeneratoren. Keine selbstgebaute Suche über die eigenen Dokumente. Kein Nachbau von Claude oder ChatGPT auf dem Küchentisch — das geht nicht, und wer etwas anderes behauptet, verkauft dir eine Grafikkarte.

Und keine Zahlen von fremden Rechnern. Alles, was hier an Messwerten steht, habe ich auf meinem eigenen Gerät gemessen, mit Datum. Ein Balkendiagramm aus einem Werbevideo sagt dir über deinen Rechner nichts.

Achtung

Wenn du im Netz siehst, wie ein riesiges Modell flüssig auf einem Laptop läuft, siehst du in aller Regel eine Grafikkarte, die mehr gekostet hat als der Rest des Geräts. Das ist kein Betrug — es ist andere Hardware. Vergleich immer erst, womit gerechnet wurde.

Für wen das hier ist

Für dich, wenn du wissen willst, ob dein normaler Rechner das mitmacht. Für Kollegen, die mit Firmendokumenten arbeiten und sie nicht in ein Chatfenster im Netz kippen dürfen. Für alle, die kein Informatikstudium haben — ich habe auch keins.

Du brauchst kein Vorwissen. Was du brauchst, ist ein Rechner mit ein paar Gigabyte freiem Speicher und die Bereitschaft, beim ersten Versuch etwas länger zu warten.

In einem Satz

Lokal ist kein Gütesiegel. Es sagt nur, wo gerechnet wird — geschützt ist eine Datei auf deinem Rechner nur so gut, wie der Rechner selbst es ist.