Draai taalmodellen op je eigen dedicated Apple silicon
Voor teams die open-weight taalmodellen willen draaien zonder prompts naar een externe AI-API te sturen. Je installeert de inferentiesoftware, laadt het model en zet je eigen beveiligde API ervoor.
- 01
Geauthenticeerd verzoek
Je app, met API-sleutel
- 02
Model op een dedicated Mac
Open-weight, zelf geïnstalleerd
- 03
Antwoord
Terug naar je app
Wat dit oplost
Prompts en documenten buiten je controle
Met je eigen inferentieserver worden prompts verwerkt op een Mac die alleen jij beheert.
Grote modellen op beperkt GPU-geheugen
Apple silicon deelt unified memory tussen CPU en GPU, dus het gekozen geheugen is beschikbaar voor het model.
Voorspelbare kosten
Een vaste maandprijs in plaats van betalen per token.
Voorbeeldworkflow
Een interne assistent voor supportmedewerkers
- 1
Ollama draait op de Mac en serveert een gequantiseerd open model.
- 2
Een reverse proxy met API-sleutel of mTLS luistert op HTTPS; de Ollama-poort is niet publiek.
- 3
Je interne tool stuurt een supportvraag en de relevante documenten.
- 4
Het model genereert een antwoord op de Mac.
- 5
Het antwoord gaat terug naar je tool; logs blijven op de Mac of in je eigen logging.
Inrichten en beheren
- 1
Kies eerst het geheugen
De modelgewichten plus de contextcache moeten in het unified memory passen, met ruimte over voor macOS.
- 2
Kies een gequantiseerd model dat past
Lagere-bit-quantisatie gebruikt minder geheugen en kan de kwaliteit verlagen; test met je eigen prompts.
- 3
Installeer Ollama, MLX of llama.cpp en download de modelgewichten.
- 4
Bind de inferentieserver aan localhost en maak hem bereikbaar via een reverse proxy met authenticatie, of alleen via een VPN.
- 5
Meet de doorvoer met je eigen prompts en contextlengte voordat je bepaalt hoeveel gelijktijdige gebruikers één Mac aankan.
Hoeveel geheugen een model nodig heeft
De modelgewichten, de context-cache en macOS moeten samen in het unified memory passen. Indicatieve groottes voor 4-bit gekwantiseerde modellen:
| Modelgrootte | Gewichten bij 4-bit (ca.) | Configuraties om te overwegen |
|---|---|---|
| 7–8B parameters | Gewichten bij 4-bit (ca.)≈ 5 GB | Configuraties om te overwegen16 GB en hoger |
| 13–14B parameters | Gewichten bij 4-bit (ca.)≈ 8–9 GB | Configuraties om te overwegen24 GB en hoger |
| 27–32B parameters | Gewichten bij 4-bit (ca.)≈ 17–20 GB | Configuraties om te overwegen32 GB en hoger |
| 70B parameters | Gewichten bij 4-bit (ca.)≈ 40 GB | Configuraties om te overwegen64 GB (48 GB alleen met een korte context) |
Vuistregels, geen garanties. Langere contexten, nauwkeuriger kwantisatie en parallelle verzoeken vragen meer geheugen. macOS laat de GPU standaard maar een deel van het totale geheugen gebruiken. Test met je eigen model en prompts.
Welke configuratie past
Wie doet wat
vBoxx levert
- Een dedicated Mac mini met tot 64 GB unified memory (M5 Pro) voor het model en de context
- Hosting in Tier III-datacenters in Nederland, zodat prompts op hardware in de EU worden verwerkt
- Netwerk: 10 Gigabit Ethernet-poort · 1 Gbit/s onbeperkt · publiek IPv4 + IPv6
- Remote APC-stroombeheer en optionele JetKVM-console
Jij beheert
- Inferentiesoftware, modellen en modellicenties
- Authenticatie, TLS en firewallregels voor de API
- Capaciteit meten en gelijktijdige verzoeken beperken
- Logging, bewaartermijnen en gegevensbescherming voor prompts en output
Voordat je voor deze opzet kiest
- Dit is inferentie, geen training. Grote modellen trainen of fine-tunen vraagt veel meer rekenkracht dan een Mac mini biedt.
- We publiceren geen tokens-per-seconde-cijfers. De snelheid hangt af van model, quantisatie, contextlengte en gelijktijdigheid; meet het met je eigen workload.
- Een model op je eigen Mac draaien maakt de verwerking niet vanzelf AVG-conform. Dat hangt af van hoe je met de gegevens omgaat.