Overzicht van Strata
Strata is een open-source tool die het mogelijk maakt om het grote AI-model Qwen3.8-Flash-Next (125 miljard parameters) lokaal uit te voeren op consumentenhardware. De software biedt een eenvoudige installatie voor Windows en Linux en ondersteunt zowel chat als coding-taken, waarbij alle gegevens lokaal blijven.
Belangrijkste kenmerken:
- Hardwarevereisten: Minimaal 12 GB VRAM (NVIDIA RTX 20-serie of hoger / AMD RX 6800-serie of hoger) en 32 GB RAM zijn vereist. Voor de grootste modellen wordt 64 GB RAM of meer aanbevolen.
- Installatie: Kan handmatig via installatiescripts of automatisch via AI-coding assistants (zoals Claude Code of Cursor) worden uitgevoerd.
- Interface & API: Strata biedt een web-interface via een browser en is compatibel met OpenAI- en Anthropic-API-applicaties op localhost.
- Techniek: Het systeem optimaliseert het geheugengebruik door model-experts slim te verdelen over de GPU, het RAM en de SSD. Daarnaast wordt een 'guess, then check'-methode gebruikt om de snelheid te verhogen.
- Functionaliteit: De tool ondersteunt optionele afbeelding-input en heeft instelbare 'Thinking'-niveaus voor complexere redeneringstaken.
Strata: Qwen3.8-Flash-Next op consumentenhardware
Strata stelt je in staat om Qwen3.8-Flash-Next uit te voeren op een normale pc. Dit is een groot en intelligent AI-model dat normaal gesproken een server vereist. Het kan chatten, code schrijven, afbeeldingen lezen en samenwerken met je applicaties en coding agents. Alle gegevens blijven op je eigen pc.
Prestaties
De snelheid is gemeten op twee gangbare gaming-pc's. Een 'token' staat gelijk aan ongeveer ¾ van een woord.
- Antwoorden schrijven: De snelheid waarmee het antwoord verschijnt in een korte chat. 60 tokens per seconde is sneller dan de gemiddelde leessnelheid.
- Prompts lezen: De snelheid waarmee het model de input verwerkt (in dit geval een document, code of chathistorie van 32K-tokens).
NVIDIA: RTX 5070 (12 GB), Ryzen 5 7600, 64 GB RAM
| Modelgrootte | Antwoorden schrijven | Prompts lezen |
|---|
| Q2_0 | 94 tokens/s | 2.650 tokens/s |
| IQ2_XS | 79 tokens/s | 2.090 tokens/s |
| IQ3_XXS | 62 tokens/s | 1.750 tokens/s |
| IQ3_S | 53 tokens/s | 1.620 tokens/s |
| Coder | 55 tokens/s | 2.180 tokens/s |
AMD: RX 9070 XT (16 GB), Ryzen 9 3900X, 47 GB RAM
| Modelgrootte | Antwoorden schrijven | Prompts lezen |
|---|
| Q2_0 | 60 tokens/s | 1.160 tokens/s |
| IQ2_XS | 52 tokens/s | 1.110 tokens/s |
| Coder | 44 tokens/s | 1.420 tokens/s |
Opmerking: Voor NVIDIA is Q2_0 gemeten met engine 0.1.36, de overige rijen met 0.1.26 (4K antwoorden, 32K prompts). Een kaart met meer VRAM is sneller; een RTX 3090 (24 GB) zou ongeveer 100-140 tokens per seconde moeten schrijven.
Systeemvereisten
Hardware
- Videokaart (GPU):
- NVIDIA GeForce RTX 20, 30, 40 of 50 serie.
- AMD Radeon RX 7900 XT / XTX, RX 7800 XT / 7700 XT, RX 9060 XT, RX 9070 / 9070 XT, Radeon AI PRO R9700 of RX 6800 / 6900 serie.
- Minimaal 12 GB VRAM.
- Werkgeheugen (RAM): 32 GB of meer. De hoeveelheid RAM bepaalt welk model past; 64 GB is voldoende voor elke grootte.
- Schijfruimte: Ongeveer 80 GB vrije ruimte. Gebruik bij voorkeur een SSD voor een snellere eerste start.
- Besturingssysteem: Windows 10 / 11 of Linux, met actuele stuurprogramma's van NVIDIA of AMD.
Experimentele ondersteuning
De volgende configuraties zijn geschreven en getest door communityleden:
- Oudere videokaarten: Tesla P40 / V100, GTX 10, Radeon VII / MI50, RX 6700 XT, RX 5500 XT.
- Intel Arc: Bouwen vanuit broncode op Linux.
- Oudere processoren: Werkt zonder AVX2, maar is aanzienlijk langzamer.
Installatie
Automatische installatie via AI
Indien je een AI-coding assistant gebruikt (zoals Claude Code, Cursor, Codex of GitHub Copilot), kun je de volgende instructie plakken: Set up Strata on this PC for me: https://github.com/Niko1221/Strata - follow docs/AI_SETUP.md in that repository.
De assistent controleert je hardware en kiest het passende model, installeert de software en start deze op.
Handmatige installatie
- Download Strata en pak het uit (of gebruik
git clone).
- Start de installatie:
- Windows: Dubbelklik op
START-HERE.bat.
- Linux: Voer
./setup.sh uit in de Strata-map.
- De installer detecteert je videokaart en stelt de juiste engine in. Je krijgt vragen over:
- De keuze van het model en de grootte.
- De context-grootte (hoeveel tekst het model onthoudt).
- Of het model afbeeldingen moet kunnen lezen.
- (Tip: druk op Enter voor de aanbevolen antwoorden).
- Het model wordt gedownload (ongeveer 70 GB) en gestart. Bij een onderbroken download kun je het script opnieuw runnen om verder te gaan.
- De browser opent automatisch de Strata-app op
http://127.0.0.1:8080.
Belangrijk: Tijdens het opstarten kan je pc 1 tot 3 minuten traag zijn of niet reageren. Strata laadt 35-55 GB in het RAM en reserveert een deel voor de videokaart. Dit is normaal gedrag.
Voor toekomstige starts gebruik je opnieuw START-HERE.bat (of ./setup.sh). Gebruik UPDATE.bat (of ./update.sh) om Strata bij te werken zonder het model te starten.
Modelkeuze
De installer beveelt een model aan op basis van je beschikbare RAM:
| Beschikbaar RAM | Aanbevolen Model | Reden |
|---|
| 32 GB | Coder | Past in 32 GB; geoptimaliseerd voor code. |
| 48 GB | IQ2XS (of Q20) | Grotere modellen passen niet. |
| 64 GB | IQ2XS (aanbevolen) of IQ3XXS / IQ3_S | Alle maten passen; IQ3_S is het slimst maar traagst. |
| 96 GB of meer | IQ3S of Unsloth UD-IQ4XS (~4-bit) | Ruimte voor de grootste modellen naast andere apps. |
Toelichting op modeltypen
- Coder: Een versie voor coderen waarbij de helft van de 'experts' is verwijderd. Het behaalt 91% van de score van het volledige model op SWE-bench Verified, maar is minder sterk in algemene taken en CJK-teksten (Chinees, Japans, Koreaans).
- Swift 1.5: Een fine-tune die sneller antwoordt met behoud van kwaliteit.
- Unsloth UD-IQ4_XS: Een ~4-bit versie. Met minder dan 80 GB RAM leest Strata delen hiervan vanaf de SSD, wat de snelheid beïnvloedt (NVMe SSD helpt).
- Unsloth UD-Q4KXL (experimenteel): Komt het dichtst bij het volledige model, maar is zeer traag op 64 GB RAM (7-8,5 tokens/s) omdat veel data vanaf de SSD wordt gelezen.
- OrcaRouter's Uncensored IQ3_XXS: Moet handmatig worden ingesteld; staat niet in het installatiemenu.
Gebruik
Interface en API
- Browser: Open
http://127.0.0.1:8080 voor de Chat, de Monitor (live GPU/CPU/RAM status) en de instellingen.
- OpenAI-compatibele apps: Gebruik de base URL
http://127.0.0.1:8080/v1. Elke API-key en modelnaam wordt geaccepteerd.
- Anthropic API apps: Gebruik
http://127.0.0.1:8080/v1/messages (bijv. voor Claude Code: ANTHROPICBASEURL=http://127.0.0.1:8080).
- OpenAI Responses API: Gebruik
/v1/responses (voor Codex CLI en vergelijkbare apps).
Geavanceerde functies
- Thinking (Redeneren): Kies in het menu tussen off, low, medium of high. Off is het snelst, high is het beste voor complexe vragen.
- Afbeeldingen: Indien geactiveerd tijdens setup, kun je afbeeldingen uploaden in de chat of via je app. Let op: AMD-kaarten lezen afbeeldingen op Linux via de processor; op Windows is dit nog niet mogelijk.
- Toegang vanaf andere apparaten: Start Strata met
START-HERE.bat --setup --host 0.0.0.0 --api-key <geheim>.
- Parallelle verzoeken: Standaard beantwoordt Strata één verzoek per keer. Voor meerdere gelijktijdige verzoeken, stel "parallel": 2 in (zie BATCHING.md). Dit vertraagt de individuele antwoorden op kaarten van 12 GB.
- Lange prompts: Het eerste bericht van een chat wordt volledig gelezen (ca. 1 minuut per 30.000 tokens). Vervolgberichten worden in enkele seconden verwerkt.
Probleemoplossing
- PC bevriest bij start: Dit is normaal tijdens het laden van het model. Wacht 10 minuten. Als het daarna nog steeds bevroren is, herstart de PC en probeer een kleiner model.
- Installatie stopt: Voer
START-HERE.bat of ./setup.sh opnieuw uit om verder te gaan vanaf het stoppunt.
- Zeer traag / Schijflamp blijft knipperen / "Engine stopped unexpectedly": Onvoldoende vrij RAM. Sluit andere programma's (zoals browsers) of kies een kleiner model (Q20 of IQ2XS).
- Poort 8080 is in gebruik: Strata draait al. Zoek naar het openstaande venster.
Hoe het werkt
Normaal gesproken vereisen dit soort modellen servers met honderden gigabytes aan videogeheugen. Strata laat het model passen op consumentenhardware door het werk te verdelen over de gehele pc.
- Experts: Het model bestaat uit 24.576 kleine specialisten ("experts"). Voor elk woord zijn er slechts 10 nodig.
- Geheugenverdeling: De videokaart bewaart de meest gebruikte experts. Het RAM bevat alle experts, en de processor verwerkt de rest. De SSD bevat een grote opzoektabel.
- Guess, then check: Een kleine helper voorspelt de volgende woorden, waarna het grote model deze in één keer controleert. Dit versnelt het proces met een factor 1,6 tot 1,8.
- Efficiënte verwerking: Lange teksten worden in grote blokken (tot 8.192 tokens per keer) gelezen met een snelheid van meer dan 1.000 tokens per seconde.
Credits en Licentie
Het model is Qwen3.8-Flash-Next van het Qwen-team, gecomprimeerd door ISTA-DASLab, UkisAI (Swift 1.5) en Unsloth. Strata maakt gebruik van onderdelen van llama.cpp / ggml.
Strata is open source onder de MIT-licentie. Sommige specifieke onderdelen en de modellen zelf hebben hun eigen licenties.
Strata: Qwen3.8-Flash-Next op consumentenhardware
Strata stelt je in staat om Qwen3.8-Flash-Next uit te voeren op een normale pc. Dit is een groot en intelligent AI-model dat normaal gesproken een server vereist. Het kan chatten, code schrijven, afbeeldingen lezen en samenwerken met je applicaties en coding agents. Alle gegevens blijven op je eigen pc.
Prestaties
De snelheid is gemeten op twee gangbare gaming-pc's. Een 'token' staat gelijk aan ongeveer ¾ van een woord.
- Antwoorden schrijven: De snelheid waarmee het antwoord verschijnt in een korte chat. 60 tokens per seconde is sneller dan de gemiddelde leessnelheid.
- Prompts lezen: De snelheid waarmee het model de input verwerkt (in dit geval een document, code of chathistorie van 32K-tokens).
NVIDIA: RTX 5070 (12 GB), Ryzen 5 7600, 64 GB RAM
| Modelgrootte | Antwoorden schrijven | Prompts lezen |
|---|
| Q2_0 | 94 tokens/s | 2.650 tokens/s |
| IQ2_XS | 79 tokens/s | 2.090 tokens/s |
| IQ3_XXS | 62 tokens/s | 1.750 tokens/s |
| IQ3_S | 53 tokens/s | 1.620 tokens/s |
| Coder | 55 tokens/s | 2.180 tokens/s |
AMD: RX 9070 XT (16 GB), Ryzen 9 3900X, 47 GB RAM
| Modelgrootte | Antwoorden schrijven | Prompts lezen |
|---|
| Q2_0 | 60 tokens/s | 1.160 tokens/s |
| IQ2_XS | 52 tokens/s | 1.110 tokens/s |
| Coder | 44 tokens/s | 1.420 tokens/s |
Opmerking: Voor NVIDIA is Q2_0 gemeten met engine 0.1.36, de overige rijen met 0.1.26 (4K antwoorden, 32K prompts). Een kaart met meer VRAM is sneller; een RTX 3090 (24 GB) zou ongeveer 100-140 tokens per seconde moeten schrijven.
Systeemvereisten
Hardware
- Videokaart (GPU):
- NVIDIA GeForce RTX 20, 30, 40 of 50 serie.
- AMD Radeon RX 7900 XT / XTX, RX 7800 XT / 7700 XT, RX 9060 XT, RX 9070 / 9070 XT, Radeon AI PRO R9700 of RX 6800 / 6900 serie.
- Minimaal 12 GB VRAM.
- Werkgeheugen (RAM): 32 GB of meer. De hoeveelheid RAM bepaalt welk model past; 64 GB is voldoende voor elke grootte.
- Schijfruimte: Ongeveer 80 GB vrije ruimte. Gebruik bij voorkeur een SSD voor een snellere eerste start.
- Besturingssysteem: Windows 10 / 11 of Linux, met actuele stuurprogramma's van NVIDIA of AMD.
Experimentele ondersteuning
De volgende configuraties zijn geschreven en getest door communityleden:
- Oudere videokaarten: Tesla P40 / V100, GTX 10, Radeon VII / MI50, RX 6700 XT, RX 5500 XT.
- Intel Arc: Bouwen vanuit broncode op Linux.
- Oudere processoren: Werkt zonder AVX2, maar is aanzienlijk langzamer.
Installatie
Automatische installatie via AI
Indien je een AI-coding assistant gebruikt (zoals Claude Code, Cursor, Codex of GitHub Copilot), kun je de volgende instructie plakken: Set up Strata on this PC for me: https://github.com/Niko1221/Strata - follow docs/AI_SETUP.md in that repository.
De assistent controleert je hardware en kiest het passende model, installeert de software en start deze op.
Handmatige installatie
- Download Strata en pak het uit (of gebruik
git clone).
- Start de installatie:
- Windows: Dubbelklik op
START-HERE.bat.
- Linux: Voer
./setup.sh uit in de Strata-map.
- De installer detecteert je videokaart en stelt de juiste engine in. Je krijgt vragen over:
- De keuze van het model en de grootte.
- De context-grootte (hoeveel tekst het model onthoudt).
- Of het model afbeeldingen moet kunnen lezen.
- (Tip: druk op Enter voor de aanbevolen antwoorden).
- Het model wordt gedownload (ongeveer 70 GB) en gestart. Bij een onderbroken download kun je het script opnieuw runnen om verder te gaan.
- De browser opent automatisch de Strata-app op
http://127.0.0.1:8080.
Belangrijk: Tijdens het opstarten kan je pc 1 tot 3 minuten traag zijn of niet reageren. Strata laadt 35-55 GB in het RAM en reserveert een deel voor de videokaart. Dit is normaal gedrag.
Voor toekomstige starts gebruik je opnieuw START-HERE.bat (of ./setup.sh). Gebruik UPDATE.bat (of ./update.sh) om Strata bij te werken zonder het model te starten.
Modelkeuze
De installer beveelt een model aan op basis van je beschikbare RAM:
| Beschikbaar RAM | Aanbevolen Model | Reden |
|---|
| 32 GB | Coder | Past in 32 GB; geoptimaliseerd voor code. |
| 48 GB | IQ2XS (of Q20) | Grotere modellen passen niet. |
| 64 GB | IQ2XS (aanbevolen) of IQ3XXS / IQ3_S | Alle maten passen; IQ3_S is het slimst maar traagst. |
| 96 GB of meer | IQ3S of Unsloth UD-IQ4XS (~4-bit) | Ruimte voor de grootste modellen naast andere apps. |
Toelichting op modeltypen
- Coder: Een versie voor coderen waarbij de helft van de 'experts' is verwijderd. Het behaalt 91% van de score van het volledige model op SWE-bench Verified, maar is minder sterk in algemene taken en CJK-teksten (Chinees, Japans, Koreaans).
- Swift 1.5: Een fine-tune die sneller antwoordt met behoud van kwaliteit.
- Unsloth UD-IQ4_XS: Een ~4-bit versie. Met minder dan 80 GB RAM leest Strata delen hiervan vanaf de SSD, wat de snelheid beïnvloedt (NVMe SSD helpt).
- Unsloth UD-Q4KXL (experimenteel): Komt het dichtst bij het volledige model, maar is zeer traag op 64 GB RAM (7-8,5 tokens/s) omdat veel data vanaf de SSD wordt gelezen.
- OrcaRouter's Uncensored IQ3_XXS: Moet handmatig worden ingesteld; staat niet in het installatiemenu.
Gebruik
Interface en API
- Browser: Open
http://127.0.0.1:8080 voor de Chat, de Monitor (live GPU/CPU/RAM status) en de instellingen.
- OpenAI-compatibele apps: Gebruik de base URL
http://127.0.0.1:8080/v1. Elke API-key en modelnaam wordt geaccepteerd.
- Anthropic API apps: Gebruik
http://127.0.0.1:8080/v1/messages (bijv. voor Claude Code: ANTHROPICBASEURL=http://127.0.0.1:8080).
- OpenAI Responses API: Gebruik
/v1/responses (voor Codex CLI en vergelijkbare apps).
Geavanceerde functies
- Thinking (Redeneren): Kies in het menu tussen off, low, medium of high. Off is het snelst, high is het beste voor complexe vragen.
- Afbeeldingen: Indien geactiveerd tijdens setup, kun je afbeeldingen uploaden in de chat of via je app. Let op: AMD-kaarten lezen afbeeldingen op Linux via de processor; op Windows is dit nog niet mogelijk.
- Toegang vanaf andere apparaten: Start Strata met
START-HERE.bat --setup --host 0.0.0.0 --api-key <geheim>.
- Parallelle verzoeken: Standaard beantwoordt Strata één verzoek per keer. Voor meerdere gelijktijdige verzoeken, stel "parallel": 2 in (zie BATCHING.md). Dit vertraagt de individuele antwoorden op kaarten van 12 GB.
- Lange prompts: Het eerste bericht van een chat wordt volledig gelezen (ca. 1 minuut per 30.000 tokens). Vervolgberichten worden in enkele seconden verwerkt.
Probleemoplossing
- PC bevriest bij start: Dit is normaal tijdens het laden van het model. Wacht 10 minuten. Als het daarna nog steeds bevroren is, herstart de PC en probeer een kleiner model.
- Installatie stopt: Voer
START-HERE.bat of ./setup.sh opnieuw uit om verder te gaan vanaf het stoppunt.
- Zeer traag / Schijflamp blijft knipperen / "Engine stopped unexpectedly": Onvoldoende vrij RAM. Sluit andere programma's (zoals browsers) of kies een kleiner model (Q20 of IQ2XS).
- Poort 8080 is in gebruik: Strata draait al. Zoek naar het openstaande venster.
Hoe het werkt
Normaal gesproken vereisen dit soort modellen servers met honderden gigabytes aan videogeheugen. Strata laat het model passen op consumentenhardware door het werk te verdelen over de gehele pc.
- Experts: Het model bestaat uit 24.576 kleine specialisten ("experts"). Voor elk woord zijn er slechts 10 nodig.
- Geheugenverdeling: De videokaart bewaart de meest gebruikte experts. Het RAM bevat alle experts, en de processor verwerkt de rest. De SSD bevat een grote opzoektabel.
- Guess, then check: Een kleine helper voorspelt de volgende woorden, waarna het grote model deze in één keer controleert. Dit versnelt het proces met een factor 1,6 tot 1,8.
- Efficiënte verwerking: Lange teksten worden in grote blokken (tot 8.192 tokens per keer) gelezen met een snelheid van meer dan 1.000 tokens per seconde.
Credits en Licentie
Het model is Qwen3.8-Flash-Next van het Qwen-team, gecomprimeerd door ISTA-DASLab, UkisAI (Swift 1.5) en Unsloth. Strata maakt gebruik van onderdelen van llama.cpp / ggml.
Strata is open source onder de MIT-licentie. Sommige specifieke onderdelen en de modellen zelf hebben hun eigen licenties.
Groetjes,