Leitfaden zum Aufbau eines On-Premise KI-Inferenz-Clusters mit M3/M4 Mac Studio und Ollama/vLLM
Der Einsatz von Cloud-LLM-APIs im Produktionsmaßstab führt oft zu extrem hohen laufenden Kosten und Datenschutzproblemen.
Die Unified Memory Architektur von Apple Silicon (M3/M4 Max & Ultra) bietet mit 192GB bis 512GB Speicher und 400GB/s bis 800GB/s Speicherbandbreite die ideale Plattform, um 70B–120B Modelle auf kompakten Mac Studio Rechnern zu betreiben.
Dieser Leitfaden zeigt die Konfiguration eines Mac Studio Clusters mit Ollama und vLLM-MLX sowie Nginx-Load-Balancing.
Wichtige Erkenntnisse
- Unified Memory Vorteil: CPU und GPU teilen sich bis zu 512GB Speicher, sodass 70B-Modelle problemlos ohne VRAM-Engpässe geladen werden können.
- Ollama vs. vLLM-MLX: Ollama eignet sich hervorragend für einfache Setups; vLLM-MLX bietet maximalen Durchsatz bei parallelen Anfragen.
- Load Balancing: Ein Nginx-Cluster verteilt Anfragen effizient auf mehrere Mac Studio Nodes.
Inferenz-Geschwindigkeit (Tokens/Sek)
| Modell & Quantisierung | Hardware | Geschwindigkeit (tokens/s) |
|---|---|---|
| Llama 3.3 70B (Q4_K_M) | M3 Max (128GB) | 28.5 t/s |
| Llama 3.3 70B (Q8_0) | M4 Ultra (192GB) | 42.1 t/s |
| Qwen 2.5 72B (Q8_0) | M4 Ultra (192GB) | 39.8 t/s |
Fazit
Für Unternehmen mit hohem Token-Aufkommen amortisiert sich ein Mac Studio Cluster bereits nach ca. 2,5 Monaten gegenüber Cloud-API-Gebühren.