DwarfStar 4 (ds4) is een krachtige C-inference engine die is ontworpen om geavanceerde open weights modellen, zoals DeepSeek V4/V4.1, GLM 5.x en Qwen3.8 Flash Next, lokaal uit te voeren. De software is geoptimaliseerd voor machines met veel geheugen en ondersteunt Metal (Mac), CUDA en ROCm.
De belangrijkste technische kenmerken zijn:
- Asymmetrische 2-bit kwantisatie: Hierdoor kunnen zeer grote Mixture-of-Experts (MoE) modellen op lokale machines passen zonder dat de intelligentie verloren gaat.
- SSD-gebaseerde KV-cache: Lange prefixes worden op de SSD opgeslagen, wat herhaaldelijke re-prefills voorkomt bij het herstarten van sessies.
- Drie interfaces: De engine biedt een interactieve CLI (
./ds4), een API-server (./ds4-server) die compatibel is met OpenAI en Anthropic, en een native coding agent (./ds4-agent).
Hardware-ondersteuning: De engine is bedoeld voor high-end systemen. Dit omvat Apple Silicon Macs (met 64 GB RAM of meer), NVIDIA CUDA-systemen (zoals DGX Spark) en AMD ROCm-systemen (zoals Strix Halo).
DwarfStar 4 (ds4): Lokale DeepSeek V4.1, Qwen en GLM
De software ondersteunt DeepSeek V4 en V4.1 Flash, GLM 5.x en Qwen3.8 Flash Next. De stack bevat zowel tekst- als vision-modellen, lokale API's, een CLI en een native agent.
De drie fasen van de modelstack
De ontwikkeling van de lokale modelstack is opgedeeld in drie fasen:
- Fase 1: De Reus (The Giant)
DeepSeek V4 Flash is een groot mixture-of-experts (MoE) model met 284 miljard parameters. Waar dit model normaal gesproken via remote serving wordt aangeboden, vertrekt ds4 vanuit de beperking van lokale uitvoering.
- Fase 2: De Ineenstorting (The Collapse)
Door middel van asymmetrische kwantisatie worden de routed experts gecomprimeerd, terwijl kritieke paden behouden blijven. Hierdoor is het model bruikbaar op machines met veel geheugen zonder dat de intelligentie verloren gaat.
- Fase 3: De Dwergster (The Dwarf Star)
De lokale engine biedt een CLI, HTTP API's en een native agent, die allemaal dezelfde modelstatus en cache delen.
Ontwerpkeuzes
DwarfStar 4 is bewust beperkt in scope en is geen generieke GGUF-runner. De engine ondersteunt een specifieke set modelfamilies en valideert elk ondersteund layout-ontwerp volledig.
Kernonderdelen
- Asymmetrische 2-bit kwantisatie: De routed experts worden gecomprimeerd, terwijl kritieke gedeelde paden nauwkeurig blijven. Dit zorgt ervoor dat de ondersteunde routed-MoE builds passen op de doelmachines.
- KV-cache als onderdeel van de schijf: Lange prefixes worden op de SSD opgeslagen en kunnen worden hervat via een prompt-hash. Hierdoor is bij een herstart geen volledige re-prefill nodig.
- Eén engine, drie interfaces:
./ds4 voor chat../ds4-server voor lokale API's../ds4-agent voor persistente programmeersessies.
Overige functionaliteiten
- SSD Streaming
- Tensor Parallelism
- Session Batching
- DSPARK + MTP
- Vision Input
Architectuur
De ds4-stack is opgebouwd uit project-GGUFs, een zelfstandige engine en interfaces gericht op agents, waarbij de output is gecontroleerd tegen officiële modelresultaten.
- Modellen: Ondersteuning voor DeepSeek V4 / V4.1, GLM 5.x en Qwen3.8 (alleen specifieke GGUF layouts met asymmetrische 2-bit + imatrix).
- Engine: Geschreven in C; ondersteunt Metal, CUDA en ROCm. Functionaliteiten omvatten parallelle verwerking, batching en speculatie.
- KV-cache: Gegevens worden uitgewisseld tussen RAM $\leftrightarrow$ SSD, waardoor sessies herstarten kunnen worden.
- Interfaces:
- Interactieve CLI (
./ds4).
- OpenAI + Anthropic API (
./ds4-server).
- Native coding agent (
./ds4-agent).
Installatie en gebruik
Het uitvoeren van ds4 gebeurt in drie stappen. Let op: generieke GGUF-bestanden zijn niet het doelwit; gebruik de project-specifieke weights.
Stap 1: De weights downloaden
$ git clone https://github.com/antirez/ds4
$ cd ds4 && ./download_model.sh ds4f-q2
Stap 2: Bouwen voor het betreffende backend
``zsh $ make ``
``zsh $ make cuda-spark ``
Stap 3: Starten
``zsh $ ./ds4 ``
``zsh $ ./ds4-server --ctx 100000 ``
Hardwarevereisten
Ondersteunde hardwareklassen
- Apple Silicon Mac: 64 GB+ RAM (afhankelijk van het model), Metal.
- NVIDIA: DGX Spark of een generieke CUDA Linux-box.
- AMD: Strix Halo Framework Desktop en soortgelijke systemen, ROCm.
- High-end: Mac Studio met 512 GB voor V4.1 Q4 of PRO-klasse headroom.
Geheugenmatrix en compatibiliteit
| Platform | Geheugen | Status / Compatibiliteit |
|---|
| Apple Silicon | 32 GB / 64 GB / 96 GB / 128 GB / 256 GB / 512 GB | V4 Flash Q2 is de baseline. Bij 128 GB passen ook GLM 5.3 Q2 en Qwen Q4; V4.1 Q2 streamt vanaf SSD. |
| NVIDIA (DGX Spark / CUDA) | Zie bovenstaande | Ondersteund |
| AMD Strix Halo (ROCm) | Zie bovenstaande | Ondersteund |
| Distributed | 2 × 512 GB (twee machines) | Ondersteund |
Referentie (M5 Max 128GB, 32K CTX):
- Generatie: 34.4 T/S
- Prefill: 557 T/S
Benchmarks
Referentiewaarden voor prefill en generatie.
| Machine | Context | Prefill (t/s) | Generatie (t/s) |
|---|
| M5 Max, 128 GB | q2 $\cdot$ 2,048 tok | 790.2 | 39.4 |
| M5 Max, 128 GB | q2 $\cdot$ 65,536 tok | 398.5 | 27.6 |
| DGX Spark, 128 GB | q2 $\cdot$ 2,048 tok | 825.8 | 18.1 |
| DGX Spark, 128 GB | q2 $\cdot$ 65,536 tok | 823.0 | 13.8 |
API's en Agenten
ds4-server maakt gebruik van API-stijlen van OpenAI en Anthropic. Hierdoor kunnen lokale coding agents worden verbonden met de eigen machine via een base URL.
Ondersteunde integraties zijn onder andere:
- Codex
- Claude Code
- OpenCode
- Codex CLI
- Pi
Gebruikte endpoints: /v1/chat/completions, /v1/messages en /v1/responses.
DwarfStar 4 (ds4): Lokale DeepSeek V4.1, Qwen en GLM
De software ondersteunt DeepSeek V4 en V4.1 Flash, GLM 5.x en Qwen3.8 Flash Next. De stack bevat zowel tekst- als vision-modellen, lokale API's, een CLI en een native agent.
De drie fasen van de modelstack
De ontwikkeling van de lokale modelstack is opgedeeld in drie fasen:
- Fase 1: De Reus (The Giant)
DeepSeek V4 Flash is een groot mixture-of-experts (MoE) model met 284 miljard parameters. Waar dit model normaal gesproken via remote serving wordt aangeboden, vertrekt ds4 vanuit de beperking van lokale uitvoering.
- Fase 2: De Ineenstorting (The Collapse)
Door middel van asymmetrische kwantisatie worden de routed experts gecomprimeerd, terwijl kritieke paden behouden blijven. Hierdoor is het model bruikbaar op machines met veel geheugen zonder dat de intelligentie verloren gaat.
- Fase 3: De Dwergster (The Dwarf Star)
De lokale engine biedt een CLI, HTTP API's en een native agent, die allemaal dezelfde modelstatus en cache delen.
Ontwerpkeuzes
DwarfStar 4 is bewust beperkt in scope en is geen generieke GGUF-runner. De engine ondersteunt een specifieke set modelfamilies en valideert elk ondersteund layout-ontwerp volledig.
Kernonderdelen
- Asymmetrische 2-bit kwantisatie: De routed experts worden gecomprimeerd, terwijl kritieke gedeelde paden nauwkeurig blijven. Dit zorgt ervoor dat de ondersteunde routed-MoE builds passen op de doelmachines.
- KV-cache als onderdeel van de schijf: Lange prefixes worden op de SSD opgeslagen en kunnen worden hervat via een prompt-hash. Hierdoor is bij een herstart geen volledige re-prefill nodig.
- Eén engine, drie interfaces:
./ds4 voor chat../ds4-server voor lokale API's../ds4-agent voor persistente programmeersessies.
Overige functionaliteiten
- SSD Streaming
- Tensor Parallelism
- Session Batching
- DSPARK + MTP
- Vision Input
Architectuur
De ds4-stack is opgebouwd uit project-GGUFs, een zelfstandige engine en interfaces gericht op agents, waarbij de output is gecontroleerd tegen officiële modelresultaten.
- Modellen: Ondersteuning voor DeepSeek V4 / V4.1, GLM 5.x en Qwen3.8 (alleen specifieke GGUF layouts met asymmetrische 2-bit + imatrix).
- Engine: Geschreven in C; ondersteunt Metal, CUDA en ROCm. Functionaliteiten omvatten parallelle verwerking, batching en speculatie.
- KV-cache: Gegevens worden uitgewisseld tussen RAM $\leftrightarrow$ SSD, waardoor sessies herstarten kunnen worden.
- Interfaces:
- Interactieve CLI (
./ds4).
- OpenAI + Anthropic API (
./ds4-server).
- Native coding agent (
./ds4-agent).
Installatie en gebruik
Het uitvoeren van ds4 gebeurt in drie stappen. Let op: generieke GGUF-bestanden zijn niet het doelwit; gebruik de project-specifieke weights.
Stap 1: De weights downloaden
$ git clone https://github.com/antirez/ds4
$ cd ds4 && ./download_model.sh ds4f-q2
Stap 2: Bouwen voor het betreffende backend
``zsh $ make ``
``zsh $ make cuda-spark ``
Stap 3: Starten
``zsh $ ./ds4 ``
``zsh $ ./ds4-server --ctx 100000 ``
Hardwarevereisten
Ondersteunde hardwareklassen
- Apple Silicon Mac: 64 GB+ RAM (afhankelijk van het model), Metal.
- NVIDIA: DGX Spark of een generieke CUDA Linux-box.
- AMD: Strix Halo Framework Desktop en soortgelijke systemen, ROCm.
- High-end: Mac Studio met 512 GB voor V4.1 Q4 of PRO-klasse headroom.
Geheugenmatrix en compatibiliteit
| Platform | Geheugen | Status / Compatibiliteit |
|---|
| Apple Silicon | 32 GB / 64 GB / 96 GB / 128 GB / 256 GB / 512 GB | V4 Flash Q2 is de baseline. Bij 128 GB passen ook GLM 5.3 Q2 en Qwen Q4; V4.1 Q2 streamt vanaf SSD. |
| NVIDIA (DGX Spark / CUDA) | Zie bovenstaande | Ondersteund |
| AMD Strix Halo (ROCm) | Zie bovenstaande | Ondersteund |
| Distributed | 2 × 512 GB (twee machines) | Ondersteund |
Referentie (M5 Max 128GB, 32K CTX):
- Generatie: 34.4 T/S
- Prefill: 557 T/S
Benchmarks
Referentiewaarden voor prefill en generatie.
| Machine | Context | Prefill (t/s) | Generatie (t/s) |
|---|
| M5 Max, 128 GB | q2 $\cdot$ 2,048 tok | 790.2 | 39.4 |
| M5 Max, 128 GB | q2 $\cdot$ 65,536 tok | 398.5 | 27.6 |
| DGX Spark, 128 GB | q2 $\cdot$ 2,048 tok | 825.8 | 18.1 |
| DGX Spark, 128 GB | q2 $\cdot$ 65,536 tok | 823.0 | 13.8 |
API's en Agenten
ds4-server maakt gebruik van API-stijlen van OpenAI en Anthropic. Hierdoor kunnen lokale coding agents worden verbonden met de eigen machine via een base URL.
Ondersteunde integraties zijn onder andere:
- Codex
- Claude Code
- OpenCode
- Codex CLI
- Pi
Gebruikte endpoints: /v1/chat/completions, /v1/messages en /v1/responses.
Groetjes,