35‑Milliarden‑Parameter‑MoE auf einer 6‑GB‑GPU: Fünf pragmatische Tricks
Mit gezielter Speicher‑ und Laufzeitverwaltung lässt sich das Mixture‑of‑Experts‑Modell Qwen 3.6 (35B) auf einer acht Jahre alten GPU mit 6 GB VRAM brauchbar betreiben. Mithilfe von llama.cpp und wenigen Flags erreicht der Testaufbau niedrige Latenz und riesige Kontextfenster, ohne Hardware‑Änderungen oder aufwändiges Re‑Training.
- Setup: llama.cpp als Engine, Qwen 3.6 35B (MoE) als Modell, alte GTX‑Klasse GPU mit 6 GB VRAM.
- Dummer Baseline‑Split (Hälfte GPU, Hälfte CPU) führte zu ~3 Tokens/s — zu langsam.
- Trick 1: Experten (MoE) auf die CPU pinnen (--n-cpu-moe) → ~10 Tokens/s.
- Trick 2: mmap deaktivieren (Model vorab in RAM laden) → ~13,5 Tokens/s.
- Trick 3: Teilweise Experten zurück auf GPU verschieben (VRAM‑Auslastung anpassen) → ~17 Tokens/s.
- Trick 4: Turbo‑Quant für KV‑Cache (asymmetrisch) erlaubt riesige Kontextfenster (bis 256k) auf 6 GB.
['Das Experiment zeigt, dass ein großes Mixture‑of‑Experts‑Modell auf sehr altem Konsumer‑Hardware sinnvoll läuft, wenn man Speicherlayout und Datenflüsse bewusst steuert. Als Engine kam llama.cpp zum Einsatz, weil sie feine Stellschrauben für Speicherplatzierung und Laden bietet.', 'Ein naiver Split der Modellschichten zwischen GPU und CPU war zu langsam: Durch ständige Übertragungen über PCIe erzielte der Versuch nur etwa drei Tokens pro Sekunde. Der Flaschenhals sind die Expertenblöcke, die bei einem einfachen Layer‑Split vollständig auf der langsameren Seite verbleiben.', 'Der erste große Hebel war, die Experten standardmäßig auf dem CPU‑Arbeitsspeicher zu belassen und nur die übrigen Schichten auf die GPU zu laden. Damit stieg die Geschwindigkeit von ~3 auf ~10 Tokens/s. Anschließend brachte das Deaktivieren von mmap — also das Vorabladen der Modelldatei in RAM — weitere ~35 % Performancegewinn.', 'Weil noch freier VRAM vorhanden war, wurden einige Experten wieder auf die GPU verschoben, wodurch sich die Tokenrate auf rund 17 Tokens/s erhöhte. Das ist spürbar interaktiver und genügt für viele Chat‑ und Frage‑Antwort‑Szenarien. Gleichzeitig gibt es einen Trade‑off: mehr GPU‑Belegung kann das mögliche Kontextfenster reduzieren.', 'Um den Kontext wieder zu vergrößern, half Turbo‑Quantisierung des KV‑Caches: stärkere Kompression (z. B. asymmetrisch für Keys und Values) erlaubt deutlich mehr Tokens im Cache bei nur geringem Qualitätsverlust. Im Test ließen sich so auf derselben 6‑GB‑GPU Kontextgrößen wie 128k und schließlich 256k Tokens realisieren, ohne die Laufzeit zu verschlechtern. Abschließend ist noch Speicher‑Pinning (mlock‑ähnliche Maßnahmen) wichtig, damit die geladenen Experten nicht vom Betriebssystem ausgelagert werden und die Performance über lange Laufzeiten stabil bleibt.']