Magnitude is een open source inference-engine die open AI-modellen optimaliseert voor de specifieke hardware van de gebruiker. Door kernels direct op het apparaat te compileren en af te stemmen, behaalt Magnitude prestaties die tot twee keer zo snel zijn als die van llama.cpp, met name op Metal en CUDA.
Belangrijkste voordelen:
- Hardware-optimalisatie: Ondersteuning voor Apple Silicon, NVIDIA, AMD en CPU's.
- Efficiëntie: Lager geheugengebruik per agent en het gebruik van prefix-caches voor snellere gelijktijdige sessies.
- Privacy en Open Source: De software is gratis, privacy-vriendelijk (alles blijft lokaal) en valt onder de Apache 2.0 licentie.
- Compatibiliteit: Werkt op macOS, Linux en Windows en kan eenvoudig worden verbonden met diverse agents zoals Pi, OpenCode en Codex via een OpenAI-compatibele API.
De tool wordt geleverd als een desktop-applicatie inclusief een CLI, waardoor gebruikers eenvoudig modellen kunnen ontdekken, downloaden en implementeren.
Magnitude
Draai open modellen zo snel als je hardware toelaat
Aan de slag
- Download Magnitude, installeer het en open de applicatie.
- Kies een aanbevolen model in 'Discover' en download dit.
- Verbind je agent in 'Connections' en begin met het gebruik ervan.
De desktop-app bevat de Magnitude CLI; een aparte installatie hiervan is niet nodig.
Waarom Magnitude?
- Tot 2x sneller dan llama.cpp: 92% snellere decode op Metal, 19% op CUDA.
- Afgestemd op jouw apparaat: Kernels worden op jouw hardware afgestemd voordat een model wordt uitgevoerd.
- Gebouwd voor de beste modellen: Hand-geoptimaliseerde kernels voor populaire open-weight families.
- Flexibel geheugen: 27% minder geheugengebruik per agent, waarbij geheugen wordt vrijgegeven wanneer agents stoppen.
- Snelle gelijktijdige sessies: Sessies delen prefix-caches om vertragingen te voorkomen.
- Werkt met jouw agent: Eén klik om Pi, OpenCode, Hermes, Codex en meer te verbinden.
- Gratis, privé en open source: Geen token-kosten, niets verlaat je machine, onder Apache 2.0 licentie.
Veelgestelde vragen (FAQ)
Wat is Magnitude? Een open source inference-engine die zichzelf optimaliseert voor jouw hardware. Het wordt geleverd als een desktop-app die open modellen draait en deze verbindt met de agent die je al gebruikt.
Hoe is het sneller dan llama.cpp, Ollama of LM Studio? Deze tools leveren kernels die vooraf zijn gecompileerd voor brede klassen hardware. Magnitude compileert en stemt de kernels af op jouw daadwerkelijke apparaat voordat een model wordt uitgevoerd, zodat ze precies passen bij jouw specifieke chip. Zie de benchmarks tegen llama.cpp.
Welke hardware heb ik nodig? Elke Apple Silicon, NVIDIA of AMD GPU, of enkel een CPU. Er is geen vaste minimale vereiste. Kleinere machines draaien kleinere modellen, en meer geheugen stelt je in staat om grotere modellen te draaien.
Welke besturingssystemen worden ondersteund? macOS, Linux en Windows.
Welke modellen worden ondersteund? Bekijk de volledige lijst op magnitude.dev/models. Er worden geoptimaliseerde kernels geschreven voor de meest populaire open-weight families, wat de reden is dat Magnitude generalistische engines verslaat.
Welke agents werken ermee? Met één klik verbind je Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi en Cline. Alles wat hierboven niet genoemd wordt, werkt via de OpenAI-compatibele API.
Is het privé? Ja. Prompts, bestanden en modellen blijven op jouw machine. Er is geen internetverbinding nodig zodra een model is gedownload.
Magnitude is een open source inference-engine voor agents die zichzelf optimaliseert voor jouw specifieke hardware. De engine compileert en stemt de kernels af op jouw apparaat, waardoor open modellen tot 2x sneller draaien dan met llama.cpp. Met één klik verbind je de agent die je al gebruikt (zoals Pi, OpenCode, Hermes, Codex en meer). Magnitude werkt op Apple Silicon, NVIDIA, AMD of uitsluitend op een CPU.
Magnitude
Draai open modellen zo snel als je hardware toelaat
Aan de slag
- Download Magnitude, installeer het en open de applicatie.
- Kies een aanbevolen model in 'Discover' en download dit.
- Verbind je agent in 'Connections' en begin met het gebruik ervan.
De desktop-app bevat de Magnitude CLI; een aparte installatie hiervan is niet nodig.
Waarom Magnitude?
- Tot 2x sneller dan llama.cpp: 92% snellere decode op Metal, 19% op CUDA.
- Afgestemd op jouw apparaat: Kernels worden op jouw hardware afgestemd voordat een model wordt uitgevoerd.
- Gebouwd voor de beste modellen: Hand-geoptimaliseerde kernels voor populaire open-weight families.
- Flexibel geheugen: 27% minder geheugengebruik per agent, waarbij geheugen wordt vrijgegeven wanneer agents stoppen.
- Snelle gelijktijdige sessies: Sessies delen prefix-caches om vertragingen te voorkomen.
- Werkt met jouw agent: Eén klik om Pi, OpenCode, Hermes, Codex en meer te verbinden.
- Gratis, privé en open source: Geen token-kosten, niets verlaat je machine, onder Apache 2.0 licentie.
Veelgestelde vragen (FAQ)
Wat is Magnitude? Een open source inference-engine die zichzelf optimaliseert voor jouw hardware. Het wordt geleverd als een desktop-app die open modellen draait en deze verbindt met de agent die je al gebruikt.
Hoe is het sneller dan llama.cpp, Ollama of LM Studio? Deze tools leveren kernels die vooraf zijn gecompileerd voor brede klassen hardware. Magnitude compileert en stemt de kernels af op jouw daadwerkelijke apparaat voordat een model wordt uitgevoerd, zodat ze precies passen bij jouw specifieke chip. Zie de benchmarks tegen llama.cpp.
Welke hardware heb ik nodig? Elke Apple Silicon, NVIDIA of AMD GPU, of enkel een CPU. Er is geen vaste minimale vereiste. Kleinere machines draaien kleinere modellen, en meer geheugen stelt je in staat om grotere modellen te draaien.
Welke besturingssystemen worden ondersteund? macOS, Linux en Windows.
Welke modellen worden ondersteund? Bekijk de volledige lijst op magnitude.dev/models. Er worden geoptimaliseerde kernels geschreven voor de meest populaire open-weight families, wat de reden is dat Magnitude generalistische engines verslaat.
Welke agents werken ermee? Met één klik verbind je Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi en Cline. Alles wat hierboven niet genoemd wordt, werkt via de OpenAI-compatibele API.
Is het privé? Ja. Prompts, bestanden en modellen blijven op jouw machine. Er is geen internetverbinding nodig zodra een model is gedownload.
Groetjes,