Fleet Navigator läuft auf Consumer Hardware – kein Rechenzentrum nötig

Marktübersicht: Hardware für lokale LLM-Inferenz

Stand: 26. August 2026 · Preisquellen: Geizhals.de, Apple Store DE, Herstellerdirektvertrieb

Alle Preise sind Momentaufnahmen. Der Speichermarkt bewegt sich derzeit wöchentlich – vor einer Bestellung immer erneut prüfen.

Was die Zahlen wirklich bedeuten

Bandbreite entscheidet über Token/Sekunde, nicht TOPS

Bei der Token-Generierung muss das Modell für jedes einzelne Token einmal komplett durch den Speicher gelesen werden. Die theoretische Obergrenze ist damit grob: Token/s ≈ Speicherbandbreite / Modellgröße in Byte

Ein 70B-Modell in Q4-Quantisierung belegt rund 40 GB. Auf Strix Halo mit 256 GB/s ergibt das theoretisch etwa 6 Token/s. Real messen Tester rund 10 bis 14 Token/s auf 70B-Modellen. Die Diskrepanz entsteht, weil Mixture-of-Experts-Modelle nicht alle Gewichte pro Token anfassen. Auf dem Mac Studio M5 Ultra mit rund 1,2 TB/s liegst du beim Vier- bis Fünffachen. Das ist der eigentliche Unterschied zwischen den drei Preisklassen, nicht die beworbene NPU-Leistung.

Prefill ist der zweite, oft unterschätzte Faktor

Beim Einlesen eines langen Kontexts zählt Rechenleistung, nicht Bandbreite. Genau hier rechtfertigt der DGX Spark seinen Aufpreis, und die RTX PRO 6000 mit 24.064 CUDA-Kernen und 1.792 GB/s spielt in einer eigenen Liga. Für RAG-Szenarien mit großen Dokumentenkontexten ist Prefill-Leistung relevanter als reine Generierungsgeschwindigkeit. Wer viele Chunks in den Kontext lädt, merkt den Unterschied bei der Zeit bis zum ersten Token deutlicher als bei der Ausgabegeschwindigkeit.

96 GB nutzbar, nicht 128 GB

Bei allen Strix-Halo-Boxen sind unter Linux etwa 96 der 128 GB als GPU-Speicher adressierbar. Der Rest bleibt dem System. Bei Apple ist die Aufteilung großzügiger. Wer die 128 GB als nutzbares Modellbudget einplant, verkalkuliert sich.

Die AMD-Halo-Familie

AMDs eigene Referenzbox heißt Ryzen AI Halo Developer Platform: Ryzen AI Max+ 395 (16 Zen-5-Kerne, 32 Threads), Radeon 8060S iGPU mit 40 Compute Units (RDNA 3.5), 128 GB LPDDR5X-8000 unified, 2 TB SSD, 10GbE, Wi-Fi 7, 120 W Systemleistung. Offiziell 3.999,99 $ – bislang Micro-Center-Exklusivware in den USA, ohne deutsche Angebote.

Praktisch kaufbar sind die OEM-Varianten mit identischem Silizium: GMKtec EVO-X2, Framework Desktop, Beelink GTR9 Pro, HP Z2 Mini G1a. Da alle denselben Chip nutzen, unterscheiden sie sich nur in Kühlung, Netzwerk, Reparierbarkeit und Support.

Die stärkere Ausbaustufe mit Ryzen AI Max+ 495, 192 GB RAM und 160 GB VRAM kommt im dritten Quartal 2026. Wenn du 192 GB brauchst, lohnt das Warten. Wenn 128 GB reichen, gibt es keinen Grund zu warten, denn der Max+ 395 bleibt unverändert im Programm.

Xiaomi: zwei Geschichten, die verwechselt werden

Star Core Super AI Computer: Auf Xiaomis Crowdfunding-Plattform Youpin gelistet, stammt aber nicht von Xiaomi, sondern vom chinesischen Hersteller Linglong. Ebenfalls Ryzen AI Max+ 395 mit 128 GB, ab 13.999 CNY – also kein eigener Chip, nur ein weiteres Strix-Halo-Gehäuse. Ein internationaler Marktstart ist nicht geplant.

Xiaomi AI Cube: Vorgestellt am 24. August 2026 auf Xiaomis Technologiekonferenz für Xring-Chips – ein Prototyp mit drei hauseigenen Chips bei 150 W Gesamtleistungsaufnahme:

Einordnung: O100 und D100 kommen erst 2027 auf den Markt, einen Preis oder Termin für den AI Cube gibt es nicht. Für eine Beschaffungsentscheidung in diesem Jahr also nicht relevant. Für die Marktbeobachtung schon: Wenn China eine eigene Speicherarchitektur mit 1,22 TB/s aufbaut, gerät NVIDIAs Preisgefüge mittelfristig unter Druck.

Warum Startpreis und heutiger Preis so weit auseinander liegen

Ursache ist die DRAM- und NAND-Preiskrise. Treiber ist der DRAM-Kontraktmarkt, nicht die Herstellermarge. Bei SSDs liegt das Preisniveau im August 2026 durchschnittlich 126 Prozent über dem Stand von Mitte September 2025.

Konsequenz für die Beschaffung: Wer 128 GB unified memory braucht und den Preis tragen kann, sollte eher jetzt kaufen als auf sinkende Preise hoffen. Die Prognosen für den weiteren Verlauf 2026 zeigen nach oben.

Entscheidungshilfe

Unsere Empfehlung: Mac Mini M4 oder M5 Pro

Für die meisten Praxen und Kanzleien ist der Mac Mini Pro mit 64 GB Unified Memory die ideale Lösung:

• Preis Mac Mini M4 Pro: unter 2.800 € als einmalige Investition – wegen der Speicherpreis-Rallye 2026 vor Bestellung tagesaktuell prüfen
• Preis Mac Mini M5 Pro: Apples aktuelles Modell, Preise auf Anfrage
• Leistung: Betreibt 30B-Modelle flüssig mit etwa 30 Tokens pro Sekunde
• Unified Memory: GPU und CPU teilen sich den Speicher, ideal für große Sprachmodelle
• Stromverbrauch: 60 bis 80 Watt, deutlich geringer als ein GPU-Server
• Lautstärke: Flüsterleise, passt auf jeden Schreibtisch

Du arbeitest weiter an deinem gewohnten Arbeitsplatz

Du musst nicht am Mac Mini selbst arbeiten. Fleet Navigator routet die Inferenz über dein lokales Netzwerk auf andere Rechner. Du nutzt deinen Windows-PC, deinen Laptop oder deinen Arbeitsplatz-Mac wie gewohnt, die KI rechnet im Hintergrund auf dem Mac Mini.

Du benötigst dafür eine Fleet Navigator Enterprise Lizenz auf dem Mac Mini und eine Fleet Navigator Maat Lizenz auf jedem zusätzlichen Arbeitsplatz. So greifen mehrere Arbeitsplätze auf dieselbe lokale KI-Instanz zu, die Daten verlassen dein Büro nicht.

Das funktioniert genauso mit Linux-Rechnern und Multi-GPU-Workstations als Inferenz-Server. Die Arbeitsplätze benötigen auch hier eine Fleet Navigator Maat Lizenz und können die geroutete Inferenz an mehreren anderen Rechnern verwenden. Das gilt auch für Linux-Rechner mit Multi-GPU.

Was bedeuten 7B, 12B, 30B, 70B?

Die Zahl steht für die Parameter des KI-Modells – mehr Parameter = mehr Wissen, aber mehr Hardware nötig

Konfigurationen für jeden Anspruch – unsere Empfehlungen für deine Hardware

Vom Einstieg bis zur professionellen Multi-User-Lösung

High-End: Maximale Leistung für 70B-Modelle

Für sehr große Modelle, mehrere parallele Nutzer und maximale Geschwindigkeit