Sprachmodelle auf Ihrem eigenen dedizierten Apple Silicon betreiben
Für Teams, die Open-Weight-Sprachmodelle betreiben wollen, ohne Prompts an eine externe KI-API zu senden. Sie installieren die Inferenz-Software, laden das Modell und setzen Ihre eigene, abgesicherte API davor.
- 01
Authentifizierte Anfrage
Ihre App, mit API-Schlüssel
- 02
Modell auf dediziertem Mac
Open-Weight, selbst installiert
- 03
Antwort
Zurück an Ihre App
Was das löst
Prompts und Dokumente außerhalb Ihrer Kontrolle
Mit Ihrem eigenen Inferenz-Server werden Prompts auf einem Mac verarbeitet, den nur Sie kontrollieren.
Große Modelle bei begrenztem GPU-Speicher
Apple Silicon teilt Unified Memory zwischen CPU und GPU, der gewählte Arbeitsspeicher steht also dem Modell zur Verfügung.
Planbare Kosten
Ein fester Monatspreis statt Bezahlung pro Token.
Beispiel-Workflow
Ein interner Assistent für Support-Mitarbeitende
- 1
Ollama läuft auf dem Mac und stellt ein quantisiertes offenes Modell bereit.
- 2
Ein Reverse Proxy mit API-Schlüssel oder mTLS lauscht auf HTTPS; der Ollama-Port ist nicht öffentlich.
- 3
Ihr internes Tool sendet eine Supportfrage und die relevanten Dokumente.
- 4
Das Modell erzeugt auf dem Mac eine Antwort.
- 5
Die Antwort geht zurück an Ihr Tool; Logs bleiben auf dem Mac oder in Ihrem eigenen Logging.
Einrichtung und Betrieb
- 1
Wählen Sie zuerst den Arbeitsspeicher
Modellgewichte plus Kontext-Cache müssen in den Unified Memory passen, mit Reserve für macOS.
- 2
Wählen Sie ein quantisiertes Modell, das passt
Niedrigere Bit-Quantisierung braucht weniger Speicher und kann die Qualität senken; testen Sie mit Ihren eigenen Prompts.
- 3
Installieren Sie Ollama, MLX oder llama.cpp und laden Sie die Modellgewichte herunter.
- 4
Binden Sie den Inferenz-Server an localhost und machen Sie ihn über einen Reverse Proxy mit Authentifizierung oder nur über ein VPN erreichbar.
- 5
Messen Sie den Durchsatz mit Ihren eigenen Prompts und Kontextlängen, bevor Sie festlegen, wie viele gleichzeitige Nutzer ein Mac bedienen kann.
Wie viel Speicher ein Modell braucht
Modellgewichte, Kontext-Cache und macOS müssen gemeinsam in den Unified Memory passen. Ungefähre Größen für 4-Bit-quantisierte Modelle:
| Modellgröße | Gewichte bei 4 Bit (ca.) | Passende Konfigurationen |
|---|---|---|
| 7–8 Mrd. Parameter | Gewichte bei 4 Bit (ca.)≈ 5 GB | Passende Konfigurationenab 16 GB |
| 13–14 Mrd. Parameter | Gewichte bei 4 Bit (ca.)≈ 8–9 GB | Passende Konfigurationenab 24 GB |
| 27–32 Mrd. Parameter | Gewichte bei 4 Bit (ca.)≈ 17–20 GB | Passende Konfigurationenab 32 GB |
| 70 Mrd. Parameter | Gewichte bei 4 Bit (ca.)≈ 40 GB | Passende Konfigurationen64 GB (48 GB nur mit kurzem Kontext) |
Faustregeln, keine Garantien. Längere Kontexte, genauere Quantisierung und parallele Anfragen brauchen mehr Speicher. macOS lässt die GPU standardmäßig nur einen Teil des Gesamtspeichers nutzen. Testen Sie mit Ihrem eigenen Modell und Ihren Prompts.
Welche Konfiguration passt
Wer macht was
vBoxx stellt bereit
- Ein dedizierter Mac mini mit bis zu 64 GB Unified Memory (M5 Pro) für Modell und Kontext
- Hosting in Tier-III-Rechenzentren in den Niederlanden, Prompts werden also auf Hardware in der EU verarbeitet
- Netzwerk: 10-Gigabit-Ethernet-Port · 1 Gbit/s unbegrenzt · öffentliche IPv4 + IPv6
- APC-Fernsteuerung der Stromversorgung und optionale JetKVM-Konsole
Sie verwalten
- Inferenz-Software, Modelle und Modelllizenzen
- Authentifizierung, TLS und Firewall-Regeln für die API
- Kapazität messen und gleichzeitige Anfragen begrenzen
- Logging, Aufbewahrung und Datenschutz für Prompts und Ausgaben
Bevor Sie sich für dieses Setup entscheiden
- Das ist Inferenz, kein Training. Training oder Fine-Tuning großer Modelle braucht weit mehr Rechenleistung, als ein Mac mini bietet.
- Wir veröffentlichen keine Tokens-pro-Sekunde-Werte. Die Geschwindigkeit hängt von Modell, Quantisierung, Kontextlänge und Parallelität ab; messen Sie sie mit Ihrem eigenen Workload.
- Ein Modell auf Ihrem eigenen Mac zu betreiben, macht die Verarbeitung nicht automatisch DSGVO-konform. Das hängt davon ab, wie Sie mit den Daten umgehen.