In dit artikel beschrijft Thibaud Colas zijn experiment om gedurende de maand september uitsluitend gebruik te maken van het AI-model GLM 5.3 Flash. Hoewel het doel was om efficiëntie en kosten te beheersen, concludeert hij dat de uitdaging technisch gezien is mislukt: van de 2 miljard verbruikte tokens werd slechts 50% door het doelmodel verwerkt.
De belangrijkste hindernissen waren:
- Vibe coding: Het bouwen van een prototype MCP-server leidde tot een onverwacht hoog en kostbaar tokenverbruik.
- Infrastructuur: Prestatiedegradatie van het model dwong hem over te stappen op alternatieven zoals DeepSeek V4.1 Flash en Qwen 3.8 Flash.
- R&D-behoeften: De noodzaak om verschillende modellen te benchmarken voor specifieke Wagtail-taken bleef essentieel.
Als lessen voor de toekomst noemt hij het belang van constante meting van energieverbruik en kosten, het maken van een duidelijk budget voor experimenten en het inzetten van multi-agent technieken (zoals orchestrators en reviewers) om efficiënter gebruik te maken van flash-tier modellen.
Eén maand met GLM 5.3 Flash
Auteur: Thibaud Colas (Wagtail core team) Datum: 2 oktober 2026
Het leek op dat moment een geweldig idee om mezelf de uitdaging op te leggen om de hele maand september slechts één efficiënt open model te gebruiken. In de praktijk bleek dat minder het geval. Na 2 miljard tokens is dit hoe het is verlopen.
Waar de tokens deze maand aan zijn besteed
De distributie van de tokens is gebaseerd op AgentsView, een van onze aanbevelingen voor Agentic engineering om het AI-gebruik bij te houden.
Het doel was om de hele maand gebruik te maken van GLM 5.3 Flash. Dit zijn de resultaten:
- Wat goed ging: De eerste helft van de maand is succesvol uitsluitend dit model gebruikt. Het verbruik van dit model bleef ruim binnen ons budget ($68, ongeveer 4 kWh energieverbruik / 365 gram CO2-uitstoot).
- Wat minder goed ging: De tweede helft van de maand verliep minder voorspelbaar, waarbij 1 miljard tokens naar andere modellen gingen.
Onverwachte hindernissen
De kosten van 'vibe coding'
We zijn transparant over het feit dat onze experimentele Wagtail MCP-server een vibe-coded prototype is. Hoewel vibe coding niet is waar we normaal naar streven, is het voor een prototype uitermate geschikt. Helaas zitten er consequenties aan verbonden.
Ik koos het 'verkeerde' model voor het prototype, waardoor we bijna overnight 450 miljoen tokens verbruikten, wat neerkomt op $150 en 5 kWh aan energieverbruik. De MCP-server zelf werkt echter goed en we hebben nu een uitstekende demo van de mogelijkheden, dus het was niet voor niets.
Desalniettemin is het een goede herinnering om voorzichtig te zijn met de modelselectie en met agentic patterns. We hadden waarschijnlijk soortgelijke resultaten kunnen behalen voor 5x minder kosten met slechts iets meer inspanning. De lessen zijn geleerd: we moeten hiervoor budgetteren en voorzichtiger zijn.
Problemen met de infrastructuur
Een andere onverwachte hindernis was de beschikbaarheid van de infrastructuur. Uit onze uitgebreide vergelijkingen van inference providers blijkt dat onze keuzes meestal goed werken, maar dat ze zeer populair zijn en niet dezelfde capaciteit hebben als de grote labs die alle GPU's verzamelen.
We merkten specifiek een degradatie in de prestaties van GLM 5.3 Flash, waarschijnlijk omdat dit model zeer hoog scoort op de Pareto-frontier van relevante modellen voor ons werk. Dit betekende dat we moesten overschakelen naar andere vergelijkbare modellen, zoals DeepSeek V4.1 Flash en Qwen 3.8 Flash. Hoewel dit eenvoudig te doen is, was het toch onverwacht.
De kosten van experimentatie en R&D
Naast het gebruik van één model voor het dagelijkse engineeringwerk, was het essentieel om te blijven experimenteren met een breed scala aan modellen om bij te blijven met de releases van providers. Dit is vooral belangrijk nu we de prestaties van modellen gaan benchmarken op Wagtail-taken, waar we data nodig hebben over een breed scala aan modellen.
Met dit soort concrete data is het veel gemakkelijker om mensen richting efficiëntere opties te sturen. Voor ons is het een manier om die opties nog levensvatbaarder te maken met agent skills, of ons nieuwe CLI-prototype, dat specifiek is ontworpen om goed samen te werken met agents.
Belangrijkste lessen en volgende stappen
Technisch gezien was deze uitdaging een mislukking. Slechts 50% van het gebruik vond plaats op het doelmodel (1 miljard van de 2 miljard tokens). Het energieverbruik was ongeveer 35 kWh in plaats van de beoogde 10 kWh. We hebben echter veel geleerd, wat cruciaal is in de huidige fase.
Voor oktober zijn dit de punten die het succesvol kunnen maken:
- Constante, lokale meting en rapportage: Niet alleen kijken naar tokens, maar ook naar energieverbruik en kosten, en idealiter hoe dit leidt tot concrete positieve resultaten.
- Budgetteren voor experimentatie: Een duidelijk onderscheid maken tussen dagelijkse taken en experimenten, en bewuste beslissingen nemen over welke prototypes de moeite waard zijn om te bouwen en hoe.
- Betere promptselectie en multi-agent technieken: Het inzetten van verschillende rollen, zoals orchestrator, scout, implementer en reviewer agents, met duidelijk afgebakende doelen.
- Blijven streven naar efficiëntere technieken en modellen: De Jev-style decision diffusion models zien er veelbelovend uit als ze zo efficiënt kunnen draaien. Ook de nieuwste flagship modellen lijken in die richting een stap vooruit.
Voor het dagelijkse werk van ontwikkelaars is het volledig haalbaar om zich te concentreren op één of twee goedkope flash-tier modellen. Een realistisch doel is dat de meerderheid van het AI-inference werk wordt gedaan met dergelijke efficiënte modellen, gemeten in kosten of energieverbruik in plaats van in betekenisloze tokens. Dat is het doel voor oktober!
Wie dit ook wil proberen: je leert er veel van in het proces. En kom in november langs bij Wagtail Space 2026 om te horen hoe dat is afgelopen!
Eén maand met GLM 5.3 Flash
Auteur: Thibaud Colas (Wagtail core team) Datum: 2 oktober 2026
Het leek op dat moment een geweldig idee om mezelf de uitdaging op te leggen om de hele maand september slechts één efficiënt open model te gebruiken. In de praktijk bleek dat minder het geval. Na 2 miljard tokens is dit hoe het is verlopen.
Waar de tokens deze maand aan zijn besteed
De distributie van de tokens is gebaseerd op AgentsView, een van onze aanbevelingen voor Agentic engineering om het AI-gebruik bij te houden.
Het doel was om de hele maand gebruik te maken van GLM 5.3 Flash. Dit zijn de resultaten:
- Wat goed ging: De eerste helft van de maand is succesvol uitsluitend dit model gebruikt. Het verbruik van dit model bleef ruim binnen ons budget ($68, ongeveer 4 kWh energieverbruik / 365 gram CO2-uitstoot).
- Wat minder goed ging: De tweede helft van de maand verliep minder voorspelbaar, waarbij 1 miljard tokens naar andere modellen gingen.
Onverwachte hindernissen
De kosten van 'vibe coding'
We zijn transparant over het feit dat onze experimentele Wagtail MCP-server een vibe-coded prototype is. Hoewel vibe coding niet is waar we normaal naar streven, is het voor een prototype uitermate geschikt. Helaas zitten er consequenties aan verbonden.
Ik koos het 'verkeerde' model voor het prototype, waardoor we bijna overnight 450 miljoen tokens verbruikten, wat neerkomt op $150 en 5 kWh aan energieverbruik. De MCP-server zelf werkt echter goed en we hebben nu een uitstekende demo van de mogelijkheden, dus het was niet voor niets.
Desalniettemin is het een goede herinnering om voorzichtig te zijn met de modelselectie en met agentic patterns. We hadden waarschijnlijk soortgelijke resultaten kunnen behalen voor 5x minder kosten met slechts iets meer inspanning. De lessen zijn geleerd: we moeten hiervoor budgetteren en voorzichtiger zijn.
Problemen met de infrastructuur
Een andere onverwachte hindernis was de beschikbaarheid van de infrastructuur. Uit onze uitgebreide vergelijkingen van inference providers blijkt dat onze keuzes meestal goed werken, maar dat ze zeer populair zijn en niet dezelfde capaciteit hebben als de grote labs die alle GPU's verzamelen.
We merkten specifiek een degradatie in de prestaties van GLM 5.3 Flash, waarschijnlijk omdat dit model zeer hoog scoort op de Pareto-frontier van relevante modellen voor ons werk. Dit betekende dat we moesten overschakelen naar andere vergelijkbare modellen, zoals DeepSeek V4.1 Flash en Qwen 3.8 Flash. Hoewel dit eenvoudig te doen is, was het toch onverwacht.
De kosten van experimentatie en R&D
Naast het gebruik van één model voor het dagelijkse engineeringwerk, was het essentieel om te blijven experimenteren met een breed scala aan modellen om bij te blijven met de releases van providers. Dit is vooral belangrijk nu we de prestaties van modellen gaan benchmarken op Wagtail-taken, waar we data nodig hebben over een breed scala aan modellen.
Met dit soort concrete data is het veel gemakkelijker om mensen richting efficiëntere opties te sturen. Voor ons is het een manier om die opties nog levensvatbaarder te maken met agent skills, of ons nieuwe CLI-prototype, dat specifiek is ontworpen om goed samen te werken met agents.
Belangrijkste lessen en volgende stappen
Technisch gezien was deze uitdaging een mislukking. Slechts 50% van het gebruik vond plaats op het doelmodel (1 miljard van de 2 miljard tokens). Het energieverbruik was ongeveer 35 kWh in plaats van de beoogde 10 kWh. We hebben echter veel geleerd, wat cruciaal is in de huidige fase.
Voor oktober zijn dit de punten die het succesvol kunnen maken:
- Constante, lokale meting en rapportage: Niet alleen kijken naar tokens, maar ook naar energieverbruik en kosten, en idealiter hoe dit leidt tot concrete positieve resultaten.
- Budgetteren voor experimentatie: Een duidelijk onderscheid maken tussen dagelijkse taken en experimenten, en bewuste beslissingen nemen over welke prototypes de moeite waard zijn om te bouwen en hoe.
- Betere promptselectie en multi-agent technieken: Het inzetten van verschillende rollen, zoals orchestrator, scout, implementer en reviewer agents, met duidelijk afgebakende doelen.
- Blijven streven naar efficiëntere technieken en modellen: De Jev-style decision diffusion models zien er veelbelovend uit als ze zo efficiënt kunnen draaien. Ook de nieuwste flagship modellen lijken in die richting een stap vooruit.
Voor het dagelijkse werk van ontwikkelaars is het volledig haalbaar om zich te concentreren op één of twee goedkope flash-tier modellen. Een realistisch doel is dat de meerderheid van het AI-inference werk wordt gedaan met dergelijke efficiënte modellen, gemeten in kosten of energieverbruik in plaats van in betekenisloze tokens. Dat is het doel voor oktober!
Wie dit ook wil proberen: je leert er veel van in het proces. En kom in november langs bij Wagtail Space 2026 om te horen hoe dat is afgelopen!
Groetjes,