Lokale KI: Was das ist und was sie kann

Gewichte sind Milliarden von Zahlen, die für sich genommen nichts bedeuten. In einem komplizierten mathematischen Zusammenspiel sorgen sie aber dafür, dass KI (mehr oder weniger gut) Quantenphysik erklären, Gedichte schreiben, Alltagsfragen beantworten und Bilder erzeugen kann.

Bei der Freigabe von KI gibt es zwei Stufen: Die KI-Entwickler geben nur die Gewichte zur Nutzung frei, dieser Ansatz heißt "Open Weight". Bei "Open Source"-KI hingegen dokumentieren sie auch, wie und mit welchen Daten die KI trainiert wurde, was für zusätzliche Transparenz sorgt.

Zur Auswahl stehen mehr als zehn lokal nutzbare Sprachmodelle. Die wichtigsten sind: Llama (von Meta), Mistral (Mistral AI, aus Frankreich) sowie Qwen (Alibaba, aus China). Als abgespeckte Versionen verfügbar sind: Gemma (Google), GPT-OSS (OpenAI) und Phi (Microsoft).

Als erstes installiert man ein kostenloses Hilfsprogramm, auf PCs etwa LM Studio (besonders einsteigerfreundlich) oder Ollama, auf Smartphones die App PocketPal AI. Dann lädt man über eine Auswahloption im Programm ein Modell oder mehrere Modelle herunter und chattet damit.

Bei der Nutzung von lokaler Sprach-KI muss man experimentieren und tolerant sein: Manche Sachen funktionieren trotz der kleinen Modellversion. Manchmal aber produziert lokale Sprach-KI inhaltlichen oder sprachlichen Unsinn. In jedem Fall ist die Fehlerquote höher und die Informationsdichte niedriger als bei der Nutzung von Cloud-KI. Gute Ergebnisse auch in einer kleinen Version liefert meist das abgespeckte Google-Modell Gemma 3 4B.

Meist gut funktionieren einfache Wissensfragen (etwa: "Was weißt du über Paris?"), Alltagsfragen ("Schlag mir Small-Talk-Themen vor.") und Plaudereien ("Was ist der Sinn des Lebens?"). Außerdem kann man Texte übersetzen lassen. Und man kann Textdokumente durchsuchen und zusammenfassen lassen.

Das meist genutzte offene Transkriptionsmodell ist Whisper von OpenAI, auf Platz zwei folgt Parakeet vom Grafik- und KI-Chiphersteller Nvidia. Das nichtkommerzielle PC-Programm NoScribe basiert auf Whisper. Man wählt eine Audiodatei aus und kann sich zwischen zwei Modellversionen entscheiden: precise (extrem genau, aber recht langsam) und fast (etwas ungenauer, aber schneller). Auch das Hilfsprogramm Vibe nutzt Whisper von OpenAI.

Transkriptions-KI wandelt Sprachaufnahmen in geschriebenen Text um. Das kann im privaten Bereich praktisch sein, wenn man etwa eine längere E-Mail oder einen Tagebuch-Eintrag einspricht - und die sensiblen Inhalte nicht in eine Cloud hochladen möchte. Die Genauigkeit von Whisper ist sehr hoch. Das Modell beherrscht 99 Sprachen und kommt auch mit Dialekten gut zurecht. Dafür arbeitet Whisper in NoScribe langsam und benötigt etwa genauso lange, wie die Sprachaufnahme läuft. Die Modelle erkennen problemlos Sätze, aber keine Absätze. Das Transkript wird als ein großer Text ausgegeben. Vibe ist schneller, aber weniger genau.

Lokale Bildmodelle sind unter anderem Stable Diffusion (vom Start-up Stability.ai) und Flux (Black Forest Labs). Das freie Modell von Flux kann unbegrenzt genutzt werden, auch kommerziell. Bei Stable Diffusion gilt das nur bis zu einem Jahresumsatz von einer Million US-Dollar.

Die Hilfsprogramme Automatic1111, Comfy, EasyDiffusion nutzen den auf dem PC installierten Browser als Programmoberfläche. Die Installation der besonders funktionsreichen Hilfsprogramme Automatic1111 und Comfy ist sehr kompliziert. Für lokale Bild-KI empfiehlt sich ein Gaming- oder KI-Laptop mit eigenständiger Grafikkarte oder ein Mac der neueren Generation. Im Netz gibt es verschiedene detaillierte Anleitungen zur Installation und Nutzung von lokaler Bild-KI.

Auf handelsüblichen Laptops ohne eigenständige Grafikkarte ist die Bilderzeugung quälend langsam (bis zu zehn Minuten oder mehr.) Gaming-Laptops, KI-Laptops oder neuere Macs können Bilder in wenigen Sekunden erzeugen. Die Qualität der Bilder ist hoch – allerdings nicht von Anfang an. Man muss lernen, sehr genau zu prompten (am besten auf Englisch) und sich mit den Einstellungen vertraut machen.

Wer bei Google etwas sucht, bekommt neben den Suchergebnissen auch eine Box mit Schlagzeilen angezeigt.

Mit ZDFheute als hinterlegter Quelle bekommen Sie unsere Inhalte häufiger in die Schlagzeilen-Box gespielt - geprüfte Inhalte, direkt in Ihrem Überblick.

→ Hier ZDFheute als bevorzugte Quelle einstellen.