Tokens te goedkoop om te meten

We zullen waarschijnlijk in het komende jaar of twee zien dat LLM's (Large Language Models) geïntegreerd worden in elk onderdeel van computing als infrastructuur, en niet alleen als een product. Binnen drie tot zes jaar zullen LLM's met de huidige 'frontier-kwaliteit' waarschijnlijk lokaal draaien op standaard hardware.

Al heel snel zal waarschijnlijk niet het absolute aantal tokens, maar de kwaliteit en de toegang de beperkende factor worden voor het gebruik van AI [^1].

Gebeurt dit echt?

Buitengewone claims vereisen buitengewoon bewijs, dus ik heb een verzameling bewijzen gebundeld.

AI kan propriëtair zijn (zoals GPT-6 Astra) of open-weight (zoals GLM-5.3-flash). Open-weight modellen kunnen worden gehost (bijv. door Z.ai) of lokaal worden gedraaid. Over het algemeen zullen modellen die bedoeld zijn om lokaal te draaien veel kleiner zijn, zoals Muse Glimmer of Qwen3 Coder.

Verbeteringen in de ene categorie beïnvloeden niet altijd verbeteringen in de andere.

Verbeteringen die alle AI beïnvloeden

GPU's

GPU's worden met elke generatie exponentieel efficiënter. In grafieken waarin de X-as de tijd is en de Y-as de energie-efficiëntie van de GPU zelf, zien we een logaritmische stijging. In dit specifieke geval is de logaritme 1,3, wat betekent dat de efficiëntie ongeveer elke twee jaar verdubbelt. Dit is een efficiëntiestijging die we niet meer hebben gezien sinds de wet van Moore in de jaren zestig.

Modellen

De kosten om een bepaalde taak met een model te voltooien, dalen scherp over tijd. Modellen worden meestal per token geprijsd. Een "token" is een fragment van een woord; er zijn ongeveer 1,5 tokens nodig om een woord weer te geven. Voor elk token dat een model leest en voor elk token dat het produceert, brengt de modelprovider (bijv. Anthropic of OpenAI) een vast bedrag in rekening.

De kosten per token dalen niet consistent, althans niet voor de slimste ("frontier") modellen. Maar de kosten per taak dalen wel. Kleinere modellen kosten wellicht minder per token, maar gebruiken in totaal meer tokens voor dezelfde taak omdat ze meer moeten "nadenken" of hun eerste concepten moeten corrigeren.

Een analyse van de "pareto-frontier" van kosten per taak in 2026 laat een breed scala aan modellen zien: van Claude Fable-5.1 (duur en intelligent) tot GPT-5.6 Luna (goedkoop en minder intelligent). Modellen onder de efficiëntielijn zijn in principe niet meer relevant [^2].

Vergelijkt men de data van begin 2025 met eind 2025, dan blijkt dat modellen op basis van per taak zowel slimmer als goedkoper zijn geworden. Vergelijkt men 2025 met 2026, dan is de intelligentie (Y-as) ongeveer gelijk gebleven, maar zijn de kosten (X-as) met twee grootteordes gedaald.

Inference Engines

Een "inference engine" is een softwarepakket dat een getraind model en een inputtekst neemt en dit daadwerkelijk uitvoert op een GPU. Deze engines zijn momenteel nog onvolwassen en verbeteren snel, met jaarlijkse verbeteringen van 10% tot 50%.

Er wordt onderscheid gemaakt tussen twee benchmarks:

• Offline: een grote batch tokens in één keer verwerken.
• Serving: inputs van gebruikers op onvoorspelbare tijdstippen ontvangen en zo snel mogelijk reageren.

'Serving' wordt veel sneller efficiënter dan offline inference.

vLLM vLLM is een open-source inference engine die steeds efficiënter wordt. Tussen versie 0.5.4 (september 2024) en versie 0.11.1 (december 2025) was er sprake van een efficiëntiestijging van ongeveer 40% in 15 maanden.

NVIDIA en Intel Dit is niet beperkt tot één softwarepakket. NVIDIA toont tot 50% efficiëntieverbetering in hun MLPerf-stack van versie 2.0 naar 2.1. Intel liet onlangs een 2,4x toename in throughput zien door enkel MLPerf te verbeteren tussen versie 6.0 en 6.1. Hoewel dit throughput is en geen directe efficiëntie, blijft de hardware gelijk, wat suggereert dat een groot deel hiervan terug te voeren is op betere efficiëntie.

Verbeteringen die hosted AI beïnvloeden

Mixture-of-Experts (MoE)

Modellen maken gebruik van architecturen die fundamenteel efficiënter zijn dan vroege LLM's. Vroege LLM's waren "dense" modellen, wat betekent dat elk deel van het model wordt geactiveerd bij elke input.

Recente architecturen gebruiken "Mixture-of-Experts" (MoE) om gespecialiseerde "expert"-lagen te deactiveren wanneer deze niet nodig zijn. Dit resulteert direct in minder compute voor dezelfde outputkwaliteit. Een model kan hierdoor 7x kleiner zijn (6B → 0,8B parameters) terwijl het dezelfde prestaties levert op benchmarks.

Dit betekent dat de kosten en het geheugengebruik van modellen in de loop van de tijd zullen dalen ten opzichte van de kwaliteit. In de praktijk wordt deze efficiëntiewinst echter vaak gebruikt om betere output te genereren met dezelfde hoeveelheid compute, waardoor de efficiëntie per token gelijk blijft, maar de efficiëntie van kwaliteit per joule snel stijgt.

Let op: MoE helpt minder op lokale machines, omdat de experts nog steeds in het geheugen moeten staan om gebruikt te kunnen worden. Projecten zoals mlx-flash wisselen lagen on-demand in het geheugen, maar dit maakt het draaien mogelijk, niet noodzakelijkerwijs snel.

Verbeteringen die lokale AI beïnvloeden

Mamba

Een van de huidige beperkingen voor het lokaal draaien van LLM's is de enorme hoeveelheid benodigd RAM. Recente modellen verminderen de benodigde RAM met 5x of meer.

Traditionele modellen gebruiken "transformer"-architecturen, waarbij het model elke input onthoudt. Recente modellen gebruiken een "Mamba"-architectuur, waarbij het model een verliesgevende samenvatting (lossy summary) van de inputs onthoudt. Men kan Mamba zien als streaming compaction die direct in het model is ingebouwd.

Mamba-Transformer hybriden zorgen voor enorme afnames in de benodigde RAM voor dezelfde hoeveelheid tokens. Zo kan de Nemotron-H-47B meer dan een miljoen tokens vasthouden in 32 GB VRAM (bij quantisatie naar 3 of 4-bit weights [^3]). Een vergelijkbaar Llama-3.1 60B model zou bijna 120 GB nodig hebben voor dezelfde hoeveelheid tokens.

Verbeteringen die gespecialiseerde use-cases beïnvloeden

Jev en Laya

Door AI alleen te gebruiken voor gespecialiseerde ja/nee-antwoorden, kunnen de kosten met twee grootteordes worden verlaagd. TypeSafe AI lanceerde onlangs "Jev". In tegenstelling tot generatieve LLM's kan Jev geen tekst produceren; het kan alleen kiezen uit een vooraf bepaalde set opties.

De prijsstelling van Jev is opvallend:

• Bestaande LLM's: Input tokens variëren van \$0,20 tot \$10 / MTok; output tokens zijn ongeveer 5x duurder.
• System One + Jev: Input tokens kosten \$0,042 / MTok (\$42 per miljard tokens). Output tokens zijn GRATIS (te goedkoop om te meten [^4]).

Dit is zo goedkoop dat het minder kost dan een elektriciteitsrekening. Hierdoor worden devtools gebouwd die direct naar Jev communiceren, zoals jgrep. Dit stelt gebruikers in staat om queries uit te voeren zoals: $ jgrep -o "announces or releases a new AI model" titles.txt | sort -rn | head -3

jgrep geeft een waarschijnlijkheid terug in ongeveer 200 ms voor ongeveer een duizendste van een cent. Een ander voorbeeld is Jev triage, een TUI voor het bekijken van open pull requests, waarbij de prioriteit wordt bepaald door elk commentaar te analyseren.

Waar Jev een propriëtair model is, is Laya open-weight en klein genoeg om lokaal te draaien. Laya kan sneller en nauwkeuriger zijn bij fine-tuning, maar het is een codebase en geen product: het is niet gehost, vereist ML-kennis voor fine-tuning en ondersteunt contexten tot maximaal 512 bytes.

Het bestaan van Jev en Laya suggereert dat er nog veel architecturale verbeteringen mogelijk zijn en dat we niet op korte termijn tegen scaling-limieten voor ML zullen lopen.

De optelsom

Als we dit combineren, zien we een daling van ongeveer 2,5 grootteordes in tokenkosten in het afgelopen jaar:

• Modellen zijn ongeveer 100x kostenefficiënter per taak.
• Hardware is ongeveer 1,3x energie-efficiënter per token.
• Engines zijn ongeveer 1,4x energie-efficiënter per token.

Daarnaast zorgen nieuwe architecturen ervoor dat er 5x meer tokens in dezelfde hoeveelheid RAM passen, waardoor intelligentere modellen lokaal kunnen draaien. Gespecialiseerde modellen zoals Jev en Laya verlagen de kosten met nog eens 1-2 grootteordes.

Wat gebeurt er nu?

Tokens worden goedkoper dan tool-calls

Interessant wordt het wanneer we dit vergelijken met andere computerkosten. Laten we kijken naar de kosten van tool-calls (gebaseerd op ruwe schattingen/Fermi-estimaties).

GPT-5.6 Luna kost ongeveer 30 cent per miljoen tokens. Stel dat Luna 10k tokens gebruikt om te beslissen een tool aan te roepen; dat is een derde van een cent per beurt. In New York of Nederland kost elektriciteit ongeveer 25 cent per kWh. Een MacBook Air verbruikt ongeveer 10W in rust en 30W bij zwaar gebruik [^5].

Tool	Vermogen (W)	Duur (s)	Prijs (¢)	Grootteordes goedkoper dan Luna-beurt
grep	10	0,1	0,000007	4,5
parse HTML	10	1	0,00007	3,5
cargo build	30	30	0,00625	1,5

Het is niet ondenkbaar dat modellen binnen enkele jaren goedkoper worden dan een tool-call. Zodra dat gebeurt, wordt het aantrekkelijk om modellen in tools te plaatsen. We zullen dan mogelijk adaptieve build-schedulers zien die gebruikmaken van machine learning.

Aanbodzijde: De Jevons-paradox

Naarmate modellen goedkoper worden om te draaien, reageren bedrijven door meer compute te bouwen, omdat ze meer verdienen per geïnvesteerde dollar. Dit is de Jevons-paradox: hoe efficiënter iets is, hoe meer ervan er in totaal bestaat. Dit wordt ook wel 'induced demand' genoemd.

Hoe gaan investeerders hun geld terugverdienen?

Als tokens te goedkoop worden om te meten, hoe verdienen LLM-providers dan geld? Dit betekent niet per se dat de bubbel zal barsten. Ten eerste kan inference nog steeds lucratief zijn, ondanks de lage kosten per token. Ten tweede lopen OpenAI en Anthropic nog steeds aanzienlijk voor op andere AI-labs.

Ik verwacht een wereld waarin de moeilijkste taken compute inkopen bij frontier labs, terwijl "normale" taken open-weights gebruiken of zwaar gedisconteerde plannen die moeten concurreren met open-weights.

Vraagzijde: De Jevons-paradox

De vraag is: waar gaan mensen het voor gebruiken als compute goedkoop genoeg is?

• Cybersecurity: Dit gaat waarschijnlijk erg slecht worden. Bedrijven zullen centraliseren rond gehoste diensten (zoals Cloudflare Access) om hacking te voorkomen.
• Raw compute: Hyperscalers (Oxide Computer Company, AWS, Cloudflare) zullen profiteren. We zullen meer gespecialiseerde GPU's voor inference zien in plaats van algemene EC2-instances.
• Softwareontwikkeling: Het moeilijke deel van software wordt productvereisten, testen en UI-design, niet de algoritmen.
• Arbeidsmarkt: De markt wordt vreemd. Idealiter zien we een heropleving van QA- en UI/UX-posities.
• Software-as-a-Service: Het huren van software wordt schaarser. Codebases zijn niet langer een 'moat'; operations en security worden de echte waardedrijvers.

Optionaliteit

Voorheen hadden mensen drie basisopties bij software: gebruiken, niet gebruiken, of een soortgelijk product gebruiken. Nu is er een vierde optie: een LLM vragen om het te bouwen.

Bedrijven moeten nu concurreren op kwaliteit, niet alleen op het vermogen om iets te doen wat voorheen onmogelijk was. Incumbents in gereguleerde industrieën zullen hierbij een enorm voordeel hebben ten opzichte van de vrije markt [^6].

Het mooiste is dat dit het veel makkelijker maakt om kneedbare software te creëren die precies is afgestemd op de persoon die het gebruikt [^7]—iets wat vijf jaar geleden ondenkbaar was voor niet-programmeurs.

Samenvatting

Ik weet niet precies wat er gaat gebeuren, maar we moeten plannen voor een wereld waarin we niet alleen goedkope compute zien, maar ook goedkope intelligentie.

***

[^1]: Ik gebruik "AI" in plaats van "LLM" bewust: er zijn nieuwe machine learning-classificaties zoals Jev die geen LLM's zijn, maar wel vergelijkbare capaciteiten hebben. [^2]: Tenzij je andere benchmarks in gedachten hebt, zoals "vertel me de hoofdstad van Taiwan" of "schrijf verkiezingsreden", die respectievelijk door Chinese en Amerikaanse modellen worden geweigerd. [^3]: "Quantisatie" betekent ruwweg "de hoeveelheid detail binnen het model zelf". De standaard is 16-bit floating-point numbers. Modellen worden vaak gequantiseerd naar 8-bit of 4-bit met slechts een matig kwaliteitsverlies, waardoor ze veel kleiner en sneller worden. [^4]: TypeSafe zegt: "We kunnen niet bewijzen dat het niet gesubsidieerd is; we hebben de lange termijn nodig om de duurzaamheid van onze prijzen te bewijzen (die we verwachten te zien dalen, niet stijgen)." [^5]: Dit is ongebruikelijk efficiënt voor hardware; serversoftware is afgestemd op throughput, niet op efficiëntie, dus het kost waarschijnlijk een grootteorde meer stroom voor dezelfde tool-executie. [^6]: Dit is ongebruikelijk efficiënt voor hardware; serversoftware is afgestemd op throughput, niet op efficiëntie, dus het kost waarschijnlijk een grootteorde meer stroom voor dezelfde tool-executie. Eén van de redenen waarom software voor elektronische medische dossiers zo verschrikkelijk is voor artsen, is dat zij wettelijk verplicht zijn deze te gebruiken. Dit, samen met overstapkosten, leidt tot oligopolies waarbij een kleine groep incumbents de markt domineert, ongeacht hoe slecht hun producten zijn. [^7]: Buiten zeer beperkte niches zoals Apple Shortcuts, Salesforce en Excel-spreadsheets.