Dit artikel beschrijft een calculator die is ontwikkeld om de abstracte hoeveelheid AI-tokens te vertalen naar concrete hardwarebehoeften. Omdat het aantal benodigde GPU's sterk afhangt van het gebruikte model, de workload en het type GPU, biedt de tool een methode om schattingen te maken voor planningdoeleinden.
Kernpunten van de berekening:
- Variabelen: De tool houdt rekening met tokenvolume, de tijdsperiode, het specifieke AI-model (zoals Llama 3.1 of DeepSeek), het GPU-type (A100, H100, B200) en de token-mix (verhouding tussen input- en output-tokens).
- Methodiek: De berekening zet het totale tokenvolume om naar tokens per seconde, corrigeert dit voor de token-mix en benuttingsgraad, en koppelt dit aan de capaciteit per GPU.
- Voorbeeld: Voor het verwerken van één biljoen tokens per maand met Llama 3.3 70B zijn naar schatting 367 H100 GPU's nodig.
Het artikel bevat uitgebreide tabellen met referentiesnelheden en geheugenspecificaties per model en GPU. Daarnaast wordt een gevoeligheidsanalyse gepresenteerd, waarbij blijkt dat de meetonzekerheid van de H100-snelheid en de operationele benuttingsgraad de grootste impact hebben op het resultaat. Tot slot wordt benadrukt dat het om schattingen gaat die geen rekening houden met technieken zoals prompt caching of speculative decoding.
Tokens naar GPU's Calculator
Parameters voor de berekening
De calculator maakt gebruik van de volgende variabelen:
- Tokenvolume: Keuze uit miljoenen, miljarden, biljoenen of biljarden.
- Tijdstip voor levering: Eén dag, één maand (30 dagen) of één jaar (365 dagen).
- Model: Diverse modellen zoals Llama 3.1 8B, Llama 3.3 70B, gpt-oss 120B, DeepSeek V4 Flash, MiniMax M3 428B, DeepSeek R1/V3, GLM-5.3 en DeepSeek V4 Pro.
- GPU-type: Referentie-GPU's zoals A100, V100, H100 en B200.
- Token-mix:
- Alleen output-tokens (bovengrens).
- Chat: 3 input-tokens op 1 output-token.
- RAG of agent: 10 input-tokens op 1 output-token.
- (Opmerking: een input-token kost minder GPU-tijd dan een output-token).
- Gemiddelde benutting: De gemiddelde belasting gedeeld door de geïnstalleerde capaciteit (standaard 50%). Piekverkeer en reservecapaciteit zorgen ervoor dat dit doorgaans lager is dan 100%.
Geavanceerde aannames
Voor de berekening worden specifieke aannames gebruikt voor:
- H100 tok/s (tokens per seconde).
- De verhoudingsfactor tussen B200, A100, V100 en de H100.
- Input-kosten: De GPU-tijd voor één input-token gedeeld door de tijd voor één output-token.
- Multi-GPU efficiëntie: Toegepast wanneer de referentie-GPU één kopie van het model bevat, maar een ander GPU-type dat niet doet.
Voorbeeldscenario
Scenario: 1 biljoen tokens in één maand (30 dagen) met Llama 3.3 70B.
- Resultaat: Ongeveer 367 H100 GPU's.
- Betrouwbaarheid: Matig.
- Aantal nodes: 46 nodes van 8x H100.
Geschatte GPU-counts (Base estimate)
| GPU Type | Low | Base | High |
|---|
| A100 | 543 | 815 | 1.966 |
| V100 | 1.338 | 2.547 | 7.122 |
| H100 | 211 | 367 | 853 |
| B200 | 47 | 92 | 252 |
| 8x H100 nodes | 27 | 46 | 107 |
| 8x B200 nodes | 6 | 12 | 32 |
Opmerking: Eén modelkopie vereist 3 V100 GPU's (77 GB tegenover 32 GB). Het V100-resultaat is daarom als theoretisch te beschouwen.
De berekening uitgelegd
De calculator bepaalt het aantal H100 GPU's via de volgende stappen:
- Start: 1 biljoen tokens in één maand (30 dagen).
- Omrekening naar seconden: $\div 2.592.000$ seconden = 385.802 tokens per seconde (gemiddeld).
- Token-mix correctie: $\times 0,475$ voor de token-mix = 183.256 output-equivalente tokens per seconde.
- Benutting: $\div 50\%$ benutting = 366.512 tokens per seconde aan geïnstalleerde capaciteit.
- GPU-capaciteit: $\div 1.000$ tok/s per H100 = 367 H100 GPU's.
Formule: gpus = tokens ÷ seconds × [output share + input share × input cost] ÷ utilization ÷ tok/s for each gpu
Gevoeligheidsanalyse
De volgende aannames hebben de grootste impact op het resultaat (gerangschikt op invloed):
- H100 snelheid voor dit model (meetonzekerheid): Varieert van 244 GPU's (bij 1.500 tok/s) tot 814 GPU's (bij 450 tok/s).
- Gemiddelde benutting (operationele keuze): Varieert van 229 GPU's (bij 80%) tot 611 GPU's (bij 30%).
- Kosten van een input-token (meetonzekerheid): Varieert van 251 GPU's (bij 0,1 van output) tot 482 GPU's (bij 0,5 van output).
Per-GPU Details
| GPU | tok/s per GPU | Tokens per GPU per dag | GPU's per kopie | Low | Base | High | 8-GPU nodes |
|---|
| A100 | 450 | 40,93M | 1 | 543 | 815 | 1.966 | 102 |
| V100 | 144 | 13,10M | 3 | 1.338 | 2.547 | 7.122 | 319 |
| H100 | 1.000 | 90,95M | 1 | 211 | 367 | 853 | 46 |
| B200 | 4.000 | 363,79M | 1 | 47 | 92 | 252 | 12 |
Modelinstellingen en bewijsvoering
Referentiesnelheden zijn tokens per seconde voor één GPU. "Measured" (gemeten) waarden komen uit publieke benchmarks; "Estimated" (geschatte) waarden hebben geen directe benchmark.
| Model | Totaal / actief | Weights | Referentiesnelheid (H100) | B200 ÷ H100 | Basis |
|---|
| Llama 3.1 8B | 8B / 8B | 8 GB | 3.000, 6.000, 12.500 | 2.3, 4, 6 | Estimated |
| Llama 3.3 70B | 70B / 70B | 70 GB | 450, 1.000, 1.500 | 2.3, 4, 6 | Measured |
| gpt-oss 120B | 117B / 5.1B | 65 GB | 740, 1.400, 2.600 | 6, 9, 12 | Measured |
| DeepSeek V4 Flash | 284B / 13B | 160 GB | B200: 1.500, 4.000, 9.000 | 5, 9, 14 | Estimated |
| MiniMax M3 428B | 428B / n/a | 428 GB | 157, 240, 537 | 3.5, 4.5, 5.3 | Measured |
| DeepSeek R1 / V3 | 671B / 37B | 671 GB | 23, 75, 266 | 12, 16, 21 | Measured |
| GLM-5.3 | 753B / 40B | 755 GB | B200: 1.400, 3.000, 7.000 | 4, 8, 16 | Measured (B200) |
| DeepSeek V4 Pro | 1600B / 49B | 865 GB | B200: 468, 1.000, 2.800 | 6, 14, 21 | Measured (B200) |
Overige aannames
| Aanname | Waarde | Basis / Bron |
|---|
| A100 $\div$ H100 | 0.35, 0.45, 0.60 | H100 gemeten op 1.8x tot 2.9x de A100 bij 70B modellen. |
| V100 $\div$ H100 | 0.10, 0.18, 0.25 | Alleen specificaties: 125 vs 312 TFLOPS, 900 vs 2.039 GB/s. |
| Input-kosten | 0.1, 0.3, 0.5 | Afgeleid van runs op 4x H100 (resultaat 0.33). |
| GPU-geheugen | 32, 80, 80, 180 GB | V100, A100, H100, B200. Inclusief 10% marge op weight size. |
Waarden gelezen op 2 oktober 2026.
Beperkingen van dit model
- Het resultaat is een schatting voor planning. Houd rekening met een foutmarge van 2x in beide richtingen voor gemeten presets, en meer voor geschatte presets.
- Snelheid varieert op basis van de latency-doelstelling. De lage en hoge waarden per preset komen voort uit respectievelijk strikte en ruime latency-doelstellingen.
- Voor grote mixture-of-experts modellen is de voorsprong van de B200 op de H100 4x tot 21x, door FP4-ondersteuning en geheugengrootte. Deze ratio is modelspecifiek.
- A100- en V100-resultaten voor grote modellen zijn theoretisch; één modelkopie vereist meer GPU's dan er in één node zitten.
- De V100-waarde is gebaseerd op hardware-specificaties, niet op gemeten LLM-serving data.
- Het bereik combineert onafhankelijke fouten als een root sum of squares in log-ruimte; het is geen statistisch betrouwbaarheidsinterval.
- De calculator houdt geen rekening met prompt caching, speculative decoding, reasoning-token overhead, uitval of regionale duplicatie.
Tokens zijn de eenheid geworden die veel experts gebruiken om de groei van AI te rapporteren. Het probleem is dat deze getallen lastig te visualiseren zijn. Is een biljoen tokens per maand veel? Dat hangt ervan af. Dezelfde hoeveelheid tokens vereist een verschillende hoeveelheid hardware, afhankelijk van de GPU, het model en de workload (bijvoorbeeld agentic coding of chat). Daarom is deze calculator ontwikkeld. Door een tokenvolume en een model in te voeren, berekent de tool hoeveel GPU's daarvoor nodig zijn, inclusief een bereik dat aangeeft hoe nauwkeurig de schatting is.
Tokens naar GPU's Calculator
Parameters voor de berekening
De calculator maakt gebruik van de volgende variabelen:
- Tokenvolume: Keuze uit miljoenen, miljarden, biljoenen of biljarden.
- Tijdstip voor levering: Eén dag, één maand (30 dagen) of één jaar (365 dagen).
- Model: Diverse modellen zoals Llama 3.1 8B, Llama 3.3 70B, gpt-oss 120B, DeepSeek V4 Flash, MiniMax M3 428B, DeepSeek R1/V3, GLM-5.3 en DeepSeek V4 Pro.
- GPU-type: Referentie-GPU's zoals A100, V100, H100 en B200.
- Token-mix:
- Alleen output-tokens (bovengrens).
- Chat: 3 input-tokens op 1 output-token.
- RAG of agent: 10 input-tokens op 1 output-token.
- (Opmerking: een input-token kost minder GPU-tijd dan een output-token).
- Gemiddelde benutting: De gemiddelde belasting gedeeld door de geïnstalleerde capaciteit (standaard 50%). Piekverkeer en reservecapaciteit zorgen ervoor dat dit doorgaans lager is dan 100%.
Geavanceerde aannames
Voor de berekening worden specifieke aannames gebruikt voor:
- H100 tok/s (tokens per seconde).
- De verhoudingsfactor tussen B200, A100, V100 en de H100.
- Input-kosten: De GPU-tijd voor één input-token gedeeld door de tijd voor één output-token.
- Multi-GPU efficiëntie: Toegepast wanneer de referentie-GPU één kopie van het model bevat, maar een ander GPU-type dat niet doet.
Voorbeeldscenario
Scenario: 1 biljoen tokens in één maand (30 dagen) met Llama 3.3 70B.
- Resultaat: Ongeveer 367 H100 GPU's.
- Betrouwbaarheid: Matig.
- Aantal nodes: 46 nodes van 8x H100.
Geschatte GPU-counts (Base estimate)
| GPU Type | Low | Base | High |
|---|
| A100 | 543 | 815 | 1.966 |
| V100 | 1.338 | 2.547 | 7.122 |
| H100 | 211 | 367 | 853 |
| B200 | 47 | 92 | 252 |
| 8x H100 nodes | 27 | 46 | 107 |
| 8x B200 nodes | 6 | 12 | 32 |
Opmerking: Eén modelkopie vereist 3 V100 GPU's (77 GB tegenover 32 GB). Het V100-resultaat is daarom als theoretisch te beschouwen.
De berekening uitgelegd
De calculator bepaalt het aantal H100 GPU's via de volgende stappen:
- Start: 1 biljoen tokens in één maand (30 dagen).
- Omrekening naar seconden: $\div 2.592.000$ seconden = 385.802 tokens per seconde (gemiddeld).
- Token-mix correctie: $\times 0,475$ voor de token-mix = 183.256 output-equivalente tokens per seconde.
- Benutting: $\div 50\%$ benutting = 366.512 tokens per seconde aan geïnstalleerde capaciteit.
- GPU-capaciteit: $\div 1.000$ tok/s per H100 = 367 H100 GPU's.
Formule: gpus = tokens ÷ seconds × [output share + input share × input cost] ÷ utilization ÷ tok/s for each gpu
Gevoeligheidsanalyse
De volgende aannames hebben de grootste impact op het resultaat (gerangschikt op invloed):
- H100 snelheid voor dit model (meetonzekerheid): Varieert van 244 GPU's (bij 1.500 tok/s) tot 814 GPU's (bij 450 tok/s).
- Gemiddelde benutting (operationele keuze): Varieert van 229 GPU's (bij 80%) tot 611 GPU's (bij 30%).
- Kosten van een input-token (meetonzekerheid): Varieert van 251 GPU's (bij 0,1 van output) tot 482 GPU's (bij 0,5 van output).
Per-GPU Details
| GPU | tok/s per GPU | Tokens per GPU per dag | GPU's per kopie | Low | Base | High | 8-GPU nodes |
|---|
| A100 | 450 | 40,93M | 1 | 543 | 815 | 1.966 | 102 |
| V100 | 144 | 13,10M | 3 | 1.338 | 2.547 | 7.122 | 319 |
| H100 | 1.000 | 90,95M | 1 | 211 | 367 | 853 | 46 |
| B200 | 4.000 | 363,79M | 1 | 47 | 92 | 252 | 12 |
Modelinstellingen en bewijsvoering
Referentiesnelheden zijn tokens per seconde voor één GPU. "Measured" (gemeten) waarden komen uit publieke benchmarks; "Estimated" (geschatte) waarden hebben geen directe benchmark.
| Model | Totaal / actief | Weights | Referentiesnelheid (H100) | B200 ÷ H100 | Basis |
|---|
| Llama 3.1 8B | 8B / 8B | 8 GB | 3.000, 6.000, 12.500 | 2.3, 4, 6 | Estimated |
| Llama 3.3 70B | 70B / 70B | 70 GB | 450, 1.000, 1.500 | 2.3, 4, 6 | Measured |
| gpt-oss 120B | 117B / 5.1B | 65 GB | 740, 1.400, 2.600 | 6, 9, 12 | Measured |
| DeepSeek V4 Flash | 284B / 13B | 160 GB | B200: 1.500, 4.000, 9.000 | 5, 9, 14 | Estimated |
| MiniMax M3 428B | 428B / n/a | 428 GB | 157, 240, 537 | 3.5, 4.5, 5.3 | Measured |
| DeepSeek R1 / V3 | 671B / 37B | 671 GB | 23, 75, 266 | 12, 16, 21 | Measured |
| GLM-5.3 | 753B / 40B | 755 GB | B200: 1.400, 3.000, 7.000 | 4, 8, 16 | Measured (B200) |
| DeepSeek V4 Pro | 1600B / 49B | 865 GB | B200: 468, 1.000, 2.800 | 6, 14, 21 | Measured (B200) |
Overige aannames
| Aanname | Waarde | Basis / Bron |
|---|
| A100 $\div$ H100 | 0.35, 0.45, 0.60 | H100 gemeten op 1.8x tot 2.9x de A100 bij 70B modellen. |
| V100 $\div$ H100 | 0.10, 0.18, 0.25 | Alleen specificaties: 125 vs 312 TFLOPS, 900 vs 2.039 GB/s. |
| Input-kosten | 0.1, 0.3, 0.5 | Afgeleid van runs op 4x H100 (resultaat 0.33). |
| GPU-geheugen | 32, 80, 80, 180 GB | V100, A100, H100, B200. Inclusief 10% marge op weight size. |
Waarden gelezen op 2 oktober 2026.
Beperkingen van dit model
- Het resultaat is een schatting voor planning. Houd rekening met een foutmarge van 2x in beide richtingen voor gemeten presets, en meer voor geschatte presets.
- Snelheid varieert op basis van de latency-doelstelling. De lage en hoge waarden per preset komen voort uit respectievelijk strikte en ruime latency-doelstellingen.
- Voor grote mixture-of-experts modellen is de voorsprong van de B200 op de H100 4x tot 21x, door FP4-ondersteuning en geheugengrootte. Deze ratio is modelspecifiek.
- A100- en V100-resultaten voor grote modellen zijn theoretisch; één modelkopie vereist meer GPU's dan er in één node zitten.
- De V100-waarde is gebaseerd op hardware-specificaties, niet op gemeten LLM-serving data.
- Het bereik combineert onafhankelijke fouten als een root sum of squares in log-ruimte; het is geen statistisch betrouwbaarheidsinterval.
- De calculator houdt geen rekening met prompt caching, speculative decoding, reasoning-token overhead, uitval of regionale duplicatie.
Groetjes,