In 'Brood War Bench' analyseert Ben Swerdlow de prestaties van diverse AI-modellen in de real-time strategy game StarCraft: Brood War. Hoewel geen enkel model boven beginnersniveau uitkwam, zijn er duidelijke verschillen in aanpak en resultaat.
Belangrijkste conclusies:
- Codex Astra is de onbetwiste leider met de hoogste winrate, waarbij vooral de 'xhigh'-configuratie domineerde.
- Codex-modellen vertoonden een voorkeur voor 'cheese' (disruptieve tactieken), maar hadden moeite met macro-management en de coördinatie tussen verschillende sub-agents.
- Grok 4.6 presteerde zeer zwak; het model besteedde te veel tijd aan interne redenering ('reasoning') en voerde te weinig concrete acties uit in het spel.
- Claude Fable was het meest ambitieus en probeerde daadwerkelijk de tech-tree te beklimmen en een economie op te bouwen.
De benchmark bevat uitgebreide data over technologie-investering, legergrootte en game-duur, wat aantoont dat de huidige generatie agents nog niet in staat is om complexe strategieën of effectieve verdedigingen uit te voeren.
Brood War Bench
Welk model wint in Brood War?
Belangrijkste conclusies
- Geen van de modellen speelde boven een beginnersniveau.
- Codex Astra is de duidelijke leider en verslaat alle andere modellen consistent.
- Grok-modellen zijn nog niet slim genoeg om Brood War te spelen.
- Oudere modellen hadden de neiging om de RTS (real-time strategy) als een turn-based game te spelen, waardoor ze werden vernietigd terwijl ze aan het 'nadenken' waren. Nieuwere modellen trapten soms in dezelfde val, wat kan verklaren waarom sommige instellingen met minder inspanning beter presteerden, maar over het algemeen waren ze veel bewuster van de kosten van het nadenken.
Klassement
| Rang | Systeem | Winst | Verlies | APM | Kosten per game | Winrate |
|---|
| 🥇 | Codex Astra / xhigh | 18 | 0 | 12.6 | $10.54 | 100.0% |
| 🥈 | Codex Astra / medium | 16 | 2 | 17.2 | $15.11 | 88.9% |
| 🥉 | Claude Fable | 15 | 3 | 12.6 | $12.24 | 83.3% |
| 4 | Codex Astra / low | 14 | 4 | 25.7 | $21.07 | 77.8% |
| 5 | Codex 5.6 Sol / medium | 13 | 5 | 10.1 | $5.12 | 72.2% |
| 6 | Codex 5.6 Sol / low | 12 | 6 | 18.1 | $9.23 | 66.7% |
| 7 | Claude Opus 5 | 12 | 6 | 10.5 | $20.78 | 66.7% |
| 8 | Codex 5.6 Sol / xhigh | 11 | 7 | 8.0 | $3.23 | 61.1% |
| 9 | Codex 5.6 Luna / low | 9 | 9 | 23.8 | $0.42 | 50.0% |
| 10 | Codex 5.6 Terra / xhigh | 9 | 9 | 15.8 | $2.10 | 50.0% |
| 11 | Codex 5.6 Terra / medium | 8 | 10 | 10.5 | $3.15 | 44.4% |
| 12 | Codex 5.6 Terra / low | 8 | 10 | 48.3 | $4.65 | 44.4% |
| 13 | Codex 5.6 Luna / xhigh | 7 | 11 | 5.2 | $0.16 | 38.9% |
| 14 | Claude Sonnet | 7 | 11 | 6.2 | $8.98 | 38.9% |
| 15 | Codex 5.6 Luna / medium | 6 | 12 | 14.8 | $0.30 | 33.3% |
| 16 | Grok 4.6 / xhigh | 2 | 15 | 2.8 | $0.66 | 11.1% |
| 17 | Grok 4.6 / medium | 1 | 16 | 3.2 | $0.79 | 5.6% |
| 18 | Claude Haiku | 0 | 16 | 0.3 | $0.34 | 0.0% |
| 19 | Grok 4.6 / low | 0 | 16 | 4.2 | $1.26 | 0.0% |
Brood War Bench ontstond nadat ik als experiment een versie van Brood War bouwde die je alleen via agents kon spelen, om dit met vrienden uit te proberen. Ik speelde het met een paar vrienden die verrassend goed scoorden voor mensen die in hun leven slechts een paar Starcraft-games hadden gespeeld. Toen ik hen vroeg waarom dat zo was, zeiden ze dat ze zelf niet veel hadden gedaan; ze vroegen hun agent om aan te vallen en de agent had een klein leger gebouwd en de volledige aanval voor hen uitgevoerd. Dit bracht me ertoe me af te vragen hoe ver ze op eigen kracht konden komen; dit is mijn antwoord.
Observaties
1. Codex vond 'cheese' voordat het 'macro' vond
Het sterkste terugkerende idee van Codex was disruptie. In Protoss-games stuurde het vaak een Probe over de kaart om arbeiders of gebouwen aan te vallen. Dit werkte schokkend goed, omdat de tegenstanders vaak tientallen seconden nadachten over wat ze met een Probe moesten doen in plaats van andere acties te ondernemen.
Dezelfde systemen waren veel zwakker in aanhoudende productie. Ze vertraagden de technologie, stuurden één of twee basis-eenheden naar verdedigde bases en zetten arbeiders in voor laatste wanhopige pogingen.
Ik merkte ook dat Codex vaak aparte sub-agents creëerde om de economie, legerproductie en legercontrole te beheren. Deze communiceerden nauwelijks met elkaar, waardoor de leger-agent elke nieuwe eenheid direct in een aanval stuurde, onbewust van het grotere leger dat de andere agents probeerden op te bouwen.
Dit is een veelvoorkomende beginnersfout: eenheden één voor één sturen in plaats van te wachten op een kritieke massa en een gepland aanvalsmoment. In games waarin ik Codex hielp sturen, was het veel beter in het plannen van die momenten en het laten samenwerken van de sub-agents.
De volharding was echter echt aanwezig. In G009, na het verliezen van het leger en de hoofdbasis, tilde Codex 5.6 Terra / medium het laatste Command Center op en verplaatste dit naar de tegenovergestelde hoek. Het overleefde nog zes minuten.
- Zes Probes steken de kaart over
- Eerst een Probe, daarna Zealots in kleine beetjes
- Het laatste Command Center vlucht
2. Grok bracht de game door met nadenken tussen acties
Grok 4.6 produceerde frequent lange stukken redenering ('reasoning') en zeer weinig command-batches. In G043 logde de xhigh-run 11.138 reasoning-tokens, maar voerde in 43 minuten slechts zes command-batches uit en zette nooit een gevechtseenheid in.
De acties die het wel ondernam, ontwikkelden zich zelden tot een werkende controleloop. In G003 maakte Grok / xhigh drie Marines maar bereikte nooit de vijandelijke basis. In G002 maakte Grok / medium twee Zealots en stak ook de kaart nooit over. Dit leek minder op slechte strategieën en meer op het onvermogen om te blijven observeren en handelen.
- Driedenveertig minuten, geen leger
3. Fable probeerde oprecht het spel te spelen
Ik merkte dat ik in meer dan een paar games meekwam met Claude Fable. Fable probeerde meestal een economie op te bouwen en de tech-tree te beklimmen in plaats van te stoppen bij de eerste beschikbare eenheid. Het leek meer geïnteresseerd in het daadwerkelijk spelen van het spel dan welk ander model dan ook.
In G007 bereikte het een Lair, Spire en Mutalisks en won het. In G027 voegde het een Robotics Facility, Citadel of Adun, Observatory en Templar Archives toe voordat het won. Ambitie garandeerde echter geen executie: in G036 bereikte Fable een Factory en Academy, maar werd het overrompeld door Opus 5.
- Fable krijgt Mutalisks
- Fable blijft klimmen
- De build wordt geen leger
Conclusie over het niveau
Geen enkele agent speelde hier boven beginnersniveau. Zelfs Astra en Fable waren niet in staat om complexe legers te bouwen, eenvoudige aanvallen af te weren of concrete strategieën uit te voeren. Een beginner die een 'photon rush' speelt, zou elke een van deze games winnen.
Dat gezegd hebbende, het kijken naar de agents maakte me enthousiaster dan ik in lange tijd ben geweest. Deze benchmark is nog lang niet uitgeput. Er is veel meer voor de agents om te leren, en veel meer wat de benchmark hen kan vragen te doen. Ik kijk ernaar uit om te zien hoe ze daar komen.
Verloop van de games
Technologie en middelen
Gemiddelden van geregistreerde runs op verschillende tijdstippen (gebaseerd op Codex Astra, Claude Fable en Grok 4.6):
- Technologie-investering (voltooide research + upgrade levels):
- Codex Astra: 0.3
- Claude Fable: 0.2
- Grok 4.6: 0
- Arbeiders (levende voltooide arbeiders):
- Codex Astra: 14.7
- Claude Fable: 16.7
- Grok 4.6: 7.4
- Legergrootte (voltooide leger- en ondersteuningseenheden):
- Codex Astra: 8.3
- Claude Fable: 7.6
- Grok 4.6: 2
- Structuren (voltooide gebouwen, inclusief add-ons):
- Codex Astra: 6.2
- Claude Fable: 7.4
- Grok 4.6: 4.5
- Mineralen in de bank (niet-uitgegeven mineralen):
- Codex Astra: 240.6
- Claude Fable: 248.6
- Grok 4.6: 536.6
- Gas in de bank (niet-uitgegeven gas):
- Codex Astra: 151
- Claude Fable: 326.9
- Grok 4.6: 244.5
- Gebruikte Supply (inclusief productie in uitvoering):
- Codex Astra: 26.5
- Claude Fable: 26.6
- Grok 4.6: 11.3
Wanneer games eindigden
- Codex Astra: Mediaan 8:10.
- 0:00 tot 5:00: 3.9% (2 games)
- 5:00 tot 10:00: 54.9% (28 games)
- 10:00 tot 15:00: 31.4% (16 games)
- 15:00 tot 20:00: 5.9% (3 games)
- 20:00 tot 25:00: 0% (0 games)
- 25:00 tot 30:00: 2% (1 game)
- 30:00 tot 35:00: 2% (1 game)
- 35:00 tot 45:00: 0% (0 games)
- Claude Fable: Mediaan 10:37.
- 0:00 tot 5:00: 0% (0 games)
- 5:00 tot 10:00: 38.9% (7 games)
- 10:00 tot 15:00: 38.9% (7 games)
- 15:00 tot 20:00: 22.2% (4 games)
- 20:00 tot 45:00: 0% (0 games)
- Grok 4.6: Mediaan 9:15.
- 0:00 tot 5:00: 2% (1 game)
- 5:00 tot 10:00: 51% (26 games)
- 10:00 tot 15:00: 23.5% (12 games)
- 15:00 tot 20:00: 13.7% (7 games)
- 20:00 tot 25:00: 2% (1 game)
- 25:00 tot 40:00: 0% (0 games)
- 40:00 tot 45:00: 7.8% (4 games)
Uitvoering van de benchmark
We hebben een round-robin matrix gebouwd van model- en inspanningsconfiguraties, waarbij elke configuratie tegen elke andere speelde. De harness voerde deze matchups parallel uit op Freestyle VM's, waarbij de game-engine data en de harness-logs van beide agents voor elke wedstrijd werden opgeslagen.
Head-to-head matrix
(W = winst, L = verlies, T = wedstrijd bereikte de tijdslimiet)
| Systeem | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 |
|---|
| 1 Codex Astra / xhigh | - | W | W | W | W | W | W | W | W | W | W | W | W | W | W | W | W | W | W |
| 2 Codex Astra / medium | L | - | W | W | W | W | W | W | W | W | L | W | W | W | W | W | W | W | W |
| 3 Codex Astra / low | L | L | - | W | W | W | W | W | W | W | L | L | W | W | W | W | W | W | W |
| 4 Codex 5.6 Sol / xhigh | L | L | L | - | L | W | W | W | L | W | W | W | L | L | W | W | W | W | W |
| 5 Codex 5.6 Sol / medium | L | L | L | W | - | W | W | W | L | W | W | W | L | W | W | W | W | W | W |
| 6 Codex 5.6 Sol / low | L | L | L | L | L | - | W | W | W | W | W | W | W | L | W | W | W | W | W |
| 7 Codex 5.6 Luna / xhigh | L | L | L | L | L | L | - | W | L | W | L | W | L | L | L | W | W | W | W |
| 8 Codex 5.6 Luna / medium | L | L | L | L | L | L | L | - | L | L | L | L | L | W | W | W | W | W | W |
| 9 Codex 5.6 Luna / low | L | L | L | W | W | L | W | W | - | W | L | L | L | L | L | W | W | W | W |
| 10 Codex 5.6 Terra / xhigh | L | L | L | L | L | L | L | W | L | - | W | W | L | W | W | W | W | W | W |
| 11 Codex 5.6 Terra / medium | L | L | L | L | L | L | W | W | W | L | - | L | L | L | W | W | W | W | W |
| 12 Codex 5.6 Terra / low | L | L | L | L | L | L | L | W | W | L | W | - | L | L | W | W | W | W | W |
| 13 Claude Fable | L | W | W | W | W | L | W | W | W | W | W | W | - | L | W | W | W | W | W |
| 14 Claude Opus 5 | L | L | W | W | L | L | W | L | W | L | W | W | W | - | W | W | W | W | W |
| 15 Claude Sonnet | L | L | L | L | L | W | W | L | W | L | L | L | L | L | - | W | W | W | W |
| 16 Claude Haiku | L | L | L | L | L | L | L | L | L | L | L | L | L | L | L | - | L | T | T |
| 17 Grok 4.6 / xhigh | L | L | L | L | L | L | L | L | L | L | L | L | L | L | L | W | - | W | T |
| 18 Grok 4.6 / medium | L | L | L | L | L | L | L | L | L | L | L | L | L | L | L | T | L | - | W |
| 19 Grok 4.6 / low | L | L | L | L | L | L | L | L | L | L | L | L | L | L | L | T | T | L | - |
Brood War Bench
Welk model wint in Brood War?
Belangrijkste conclusies
- Geen van de modellen speelde boven een beginnersniveau.
- Codex Astra is de duidelijke leider en verslaat alle andere modellen consistent.
- Grok-modellen zijn nog niet slim genoeg om Brood War te spelen.
- Oudere modellen hadden de neiging om de RTS (real-time strategy) als een turn-based game te spelen, waardoor ze werden vernietigd terwijl ze aan het 'nadenken' waren. Nieuwere modellen trapten soms in dezelfde val, wat kan verklaren waarom sommige instellingen met minder inspanning beter presteerden, maar over het algemeen waren ze veel bewuster van de kosten van het nadenken.
Klassement
| Rang | Systeem | Winst | Verlies | APM | Kosten per game | Winrate |
|---|
| 🥇 | Codex Astra / xhigh | 18 | 0 | 12.6 | $10.54 | 100.0% |
| 🥈 | Codex Astra / medium | 16 | 2 | 17.2 | $15.11 | 88.9% |
| 🥉 | Claude Fable | 15 | 3 | 12.6 | $12.24 | 83.3% |
| 4 | Codex Astra / low | 14 | 4 | 25.7 | $21.07 | 77.8% |
| 5 | Codex 5.6 Sol / medium | 13 | 5 | 10.1 | $5.12 | 72.2% |
| 6 | Codex 5.6 Sol / low | 12 | 6 | 18.1 | $9.23 | 66.7% |
| 7 | Claude Opus 5 | 12 | 6 | 10.5 | $20.78 | 66.7% |
| 8 | Codex 5.6 Sol / xhigh | 11 | 7 | 8.0 | $3.23 | 61.1% |
| 9 | Codex 5.6 Luna / low | 9 | 9 | 23.8 | $0.42 | 50.0% |
| 10 | Codex 5.6 Terra / xhigh | 9 | 9 | 15.8 | $2.10 | 50.0% |
| 11 | Codex 5.6 Terra / medium | 8 | 10 | 10.5 | $3.15 | 44.4% |
| 12 | Codex 5.6 Terra / low | 8 | 10 | 48.3 | $4.65 | 44.4% |
| 13 | Codex 5.6 Luna / xhigh | 7 | 11 | 5.2 | $0.16 | 38.9% |
| 14 | Claude Sonnet | 7 | 11 | 6.2 | $8.98 | 38.9% |
| 15 | Codex 5.6 Luna / medium | 6 | 12 | 14.8 | $0.30 | 33.3% |
| 16 | Grok 4.6 / xhigh | 2 | 15 | 2.8 | $0.66 | 11.1% |
| 17 | Grok 4.6 / medium | 1 | 16 | 3.2 | $0.79 | 5.6% |
| 18 | Claude Haiku | 0 | 16 | 0.3 | $0.34 | 0.0% |
| 19 | Grok 4.6 / low | 0 | 16 | 4.2 | $1.26 | 0.0% |
Brood War Bench ontstond nadat ik als experiment een versie van Brood War bouwde die je alleen via agents kon spelen, om dit met vrienden uit te proberen. Ik speelde het met een paar vrienden die verrassend goed scoorden voor mensen die in hun leven slechts een paar Starcraft-games hadden gespeeld. Toen ik hen vroeg waarom dat zo was, zeiden ze dat ze zelf niet veel hadden gedaan; ze vroegen hun agent om aan te vallen en de agent had een klein leger gebouwd en de volledige aanval voor hen uitgevoerd. Dit bracht me ertoe me af te vragen hoe ver ze op eigen kracht konden komen; dit is mijn antwoord.
Observaties
1. Codex vond 'cheese' voordat het 'macro' vond
Het sterkste terugkerende idee van Codex was disruptie. In Protoss-games stuurde het vaak een Probe over de kaart om arbeiders of gebouwen aan te vallen. Dit werkte schokkend goed, omdat de tegenstanders vaak tientallen seconden nadachten over wat ze met een Probe moesten doen in plaats van andere acties te ondernemen.
Dezelfde systemen waren veel zwakker in aanhoudende productie. Ze vertraagden de technologie, stuurden één of twee basis-eenheden naar verdedigde bases en zetten arbeiders in voor laatste wanhopige pogingen.
Ik merkte ook dat Codex vaak aparte sub-agents creëerde om de economie, legerproductie en legercontrole te beheren. Deze communiceerden nauwelijks met elkaar, waardoor de leger-agent elke nieuwe eenheid direct in een aanval stuurde, onbewust van het grotere leger dat de andere agents probeerden op te bouwen.
Dit is een veelvoorkomende beginnersfout: eenheden één voor één sturen in plaats van te wachten op een kritieke massa en een gepland aanvalsmoment. In games waarin ik Codex hielp sturen, was het veel beter in het plannen van die momenten en het laten samenwerken van de sub-agents.
De volharding was echter echt aanwezig. In G009, na het verliezen van het leger en de hoofdbasis, tilde Codex 5.6 Terra / medium het laatste Command Center op en verplaatste dit naar de tegenovergestelde hoek. Het overleefde nog zes minuten.
- Zes Probes steken de kaart over
- Eerst een Probe, daarna Zealots in kleine beetjes
- Het laatste Command Center vlucht
2. Grok bracht de game door met nadenken tussen acties
Grok 4.6 produceerde frequent lange stukken redenering ('reasoning') en zeer weinig command-batches. In G043 logde de xhigh-run 11.138 reasoning-tokens, maar voerde in 43 minuten slechts zes command-batches uit en zette nooit een gevechtseenheid in.
De acties die het wel ondernam, ontwikkelden zich zelden tot een werkende controleloop. In G003 maakte Grok / xhigh drie Marines maar bereikte nooit de vijandelijke basis. In G002 maakte Grok / medium twee Zealots en stak ook de kaart nooit over. Dit leek minder op slechte strategieën en meer op het onvermogen om te blijven observeren en handelen.
- Driedenveertig minuten, geen leger
3. Fable probeerde oprecht het spel te spelen
Ik merkte dat ik in meer dan een paar games meekwam met Claude Fable. Fable probeerde meestal een economie op te bouwen en de tech-tree te beklimmen in plaats van te stoppen bij de eerste beschikbare eenheid. Het leek meer geïnteresseerd in het daadwerkelijk spelen van het spel dan welk ander model dan ook.
In G007 bereikte het een Lair, Spire en Mutalisks en won het. In G027 voegde het een Robotics Facility, Citadel of Adun, Observatory en Templar Archives toe voordat het won. Ambitie garandeerde echter geen executie: in G036 bereikte Fable een Factory en Academy, maar werd het overrompeld door Opus 5.
- Fable krijgt Mutalisks
- Fable blijft klimmen
- De build wordt geen leger
Conclusie over het niveau
Geen enkele agent speelde hier boven beginnersniveau. Zelfs Astra en Fable waren niet in staat om complexe legers te bouwen, eenvoudige aanvallen af te weren of concrete strategieën uit te voeren. Een beginner die een 'photon rush' speelt, zou elke een van deze games winnen.
Dat gezegd hebbende, het kijken naar de agents maakte me enthousiaster dan ik in lange tijd ben geweest. Deze benchmark is nog lang niet uitgeput. Er is veel meer voor de agents om te leren, en veel meer wat de benchmark hen kan vragen te doen. Ik kijk ernaar uit om te zien hoe ze daar komen.
Verloop van de games
Technologie en middelen
Gemiddelden van geregistreerde runs op verschillende tijdstippen (gebaseerd op Codex Astra, Claude Fable en Grok 4.6):
- Technologie-investering (voltooide research + upgrade levels):
- Codex Astra: 0.3
- Claude Fable: 0.2
- Grok 4.6: 0
- Arbeiders (levende voltooide arbeiders):
- Codex Astra: 14.7
- Claude Fable: 16.7
- Grok 4.6: 7.4
- Legergrootte (voltooide leger- en ondersteuningseenheden):
- Codex Astra: 8.3
- Claude Fable: 7.6
- Grok 4.6: 2
- Structuren (voltooide gebouwen, inclusief add-ons):
- Codex Astra: 6.2
- Claude Fable: 7.4
- Grok 4.6: 4.5
- Mineralen in de bank (niet-uitgegeven mineralen):
- Codex Astra: 240.6
- Claude Fable: 248.6
- Grok 4.6: 536.6
- Gas in de bank (niet-uitgegeven gas):
- Codex Astra: 151
- Claude Fable: 326.9
- Grok 4.6: 244.5
- Gebruikte Supply (inclusief productie in uitvoering):
- Codex Astra: 26.5
- Claude Fable: 26.6
- Grok 4.6: 11.3
Wanneer games eindigden
- Codex Astra: Mediaan 8:10.
- 0:00 tot 5:00: 3.9% (2 games)
- 5:00 tot 10:00: 54.9% (28 games)
- 10:00 tot 15:00: 31.4% (16 games)
- 15:00 tot 20:00: 5.9% (3 games)
- 20:00 tot 25:00: 0% (0 games)
- 25:00 tot 30:00: 2% (1 game)
- 30:00 tot 35:00: 2% (1 game)
- 35:00 tot 45:00: 0% (0 games)
- Claude Fable: Mediaan 10:37.
- 0:00 tot 5:00: 0% (0 games)
- 5:00 tot 10:00: 38.9% (7 games)
- 10:00 tot 15:00: 38.9% (7 games)
- 15:00 tot 20:00: 22.2% (4 games)
- 20:00 tot 45:00: 0% (0 games)
- Grok 4.6: Mediaan 9:15.
- 0:00 tot 5:00: 2% (1 game)
- 5:00 tot 10:00: 51% (26 games)
- 10:00 tot 15:00: 23.5% (12 games)
- 15:00 tot 20:00: 13.7% (7 games)
- 20:00 tot 25:00: 2% (1 game)
- 25:00 tot 40:00: 0% (0 games)
- 40:00 tot 45:00: 7.8% (4 games)
Uitvoering van de benchmark
We hebben een round-robin matrix gebouwd van model- en inspanningsconfiguraties, waarbij elke configuratie tegen elke andere speelde. De harness voerde deze matchups parallel uit op Freestyle VM's, waarbij de game-engine data en de harness-logs van beide agents voor elke wedstrijd werden opgeslagen.
Head-to-head matrix
(W = winst, L = verlies, T = wedstrijd bereikte de tijdslimiet)
| Systeem | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 |
|---|
| 1 Codex Astra / xhigh | - | W | W | W | W | W | W | W | W | W | W | W | W | W | W | W | W | W | W |
| 2 Codex Astra / medium | L | - | W | W | W | W | W | W | W | W | L | W | W | W | W | W | W | W | W |
| 3 Codex Astra / low | L | L | - | W | W | W | W | W | W | W | L | L | W | W | W | W | W | W | W |
| 4 Codex 5.6 Sol / xhigh | L | L | L | - | L | W | W | W | L | W | W | W | L | L | W | W | W | W | W |
| 5 Codex 5.6 Sol / medium | L | L | L | W | - | W | W | W | L | W | W | W | L | W | W | W | W | W | W |
| 6 Codex 5.6 Sol / low | L | L | L | L | L | - | W | W | W | W | W | W | W | L | W | W | W | W | W |
| 7 Codex 5.6 Luna / xhigh | L | L | L | L | L | L | - | W | L | W | L | W | L | L | L | W | W | W | W |
| 8 Codex 5.6 Luna / medium | L | L | L | L | L | L | L | - | L | L | L | L | L | W | W | W | W | W | W |
| 9 Codex 5.6 Luna / low | L | L | L | W | W | L | W | W | - | W | L | L | L | L | L | W | W | W | W |
| 10 Codex 5.6 Terra / xhigh | L | L | L | L | L | L | L | W | L | - | W | W | L | W | W | W | W | W | W |
| 11 Codex 5.6 Terra / medium | L | L | L | L | L | L | W | W | W | L | - | L | L | L | W | W | W | W | W |
| 12 Codex 5.6 Terra / low | L | L | L | L | L | L | L | W | W | L | W | - | L | L | W | W | W | W | W |
| 13 Claude Fable | L | W | W | W | W | L | W | W | W | W | W | W | - | L | W | W | W | W | W |
| 14 Claude Opus 5 | L | L | W | W | L | L | W | L | W | L | W | W | W | - | W | W | W | W | W |
| 15 Claude Sonnet | L | L | L | L | L | W | W | L | W | L | L | L | L | L | - | W | W | W | W |
| 16 Claude Haiku | L | L | L | L | L | L | L | L | L | L | L | L | L | L | L | - | L | T | T |
| 17 Grok 4.6 / xhigh | L | L | L | L | L | L | L | L | L | L | L | L | L | L | L | W | - | W | T |
| 18 Grok 4.6 / medium | L | L | L | L | L | L | L | L | L | L | L | L | L | L | L | T | L | - | W |
| 19 Grok 4.6 / low | L | L | L | L | L | L | L | L | L | L | L | L | L | L | L | T | T | L | - |
Groetjes,