StarSkirmish Bench v0.2 is een benchmark die de agentische codeervaardigheden van Large Language Models (LLM's) evalueert. Modellen krijgen één uur de tijd om een Protoss-bot voor StarCraft: Brood War te schrijven in C++, waarbij ze gebruikmaken van BWAPI 4.4.0 en OpenBW.
Belangrijkste bevindingen:
- Prestaties: GPT-6 Astra is het best scorende model, terwijl GPT-6.1 Sol de beste prijs-prestatieverhouding biedt.
- Kloof met mensen: Er is nog geen sprake van verzadiging; de beste menselijke bots (zoals Stardust) winnen nog steeds ruimschoots van de AI-bots.
- Gedrag: Modellen die vroeg in het proces oefenwedstrijden spelen tegen sterke tegenstanders, behalen over het algemeen betere resultaten.
Technische opzet: De modellen draaien in hun eigen CLI-omgevingen (zoals Codex of Claude Code) met maximale redeneerinstellingen en zonder internettoegang. De uiteindelijke score is gebaseerd op de gemiddelde winrate over vijf runs tegen een vaste selectie van menselijke en demo-bots.
Conclusie: De lage correlatie met populaire benchmarks suggereert dat veel modellen specifiek op standaardtests zijn getuned, terwijl StarSkirmish een complexere test biedt voor redeneren over een lange horizon en praktische software-implementatie.
StarSkirmish Bench v0.2
Samenvatting (TL;DR)
- StarSkirmish is een benchmark waarbij Large Language Models (LLM's) bots schrijven voor StarCraft: Brood War.
- Elk LLM krijgt één uur de tijd om een Protoss-bot in C++ te schrijven, die vervolgens wordt geëvalueerd tegen bots van andere LLM's en gevestigde, door mensen geschreven bots.
- StarSkirmish test redeneren over een lange horizon en agentische codering, aangezien LLM's leerervaringen uit oefenwedstrijden moeten integreren om hun StarCraft-bot te verbeteren.
StarSkirmish Bench v0.2
De StarSkirmish Bench evalueert hoe sterke een StarCraft-bot elk LLM kan schrijven binnen één uur werkelijke tijd. Versie 0.2 is een update van v0.1 en bevat flagship-modellen van OpenAI, Anthropic, Google en Meta, waarbij elk model wordt uitgevoerd in de eigen CLI-omgeving (harness) van het respectievelijke lab.
De score van een LLM weerspiegelt de winrate tegen een selectie van competitieve, door mensen geschreven bots en demo-bots.
Resultaten
De scores zijn gebaseerd op de gemiddelde winrate (0–100) van vijf runs per model tegen een reeks competitieve bots. Gemini 4 Argon is ingesteld op 'high' (de hoogste beschikbare redeneerinspanning); alle andere modellen draaien op 'max'.
- GPT-6 Astra is het best scorende model in StarSkirmish Bench v0.2 en staat een duidelijke stap voor op GPT-6.1 Sol, dat tweede is.
- Gemini 4 Argon, Claude Opus 5.5 en Claude Fable 5.1 scoren nagenoeg gelijk achter de top twee, met scores tussen de 37 en 39.
Kosten versus Prestaties
Wanneer de score wordt afgezet tegen de gemiddelde API-kosten van één run van een uur (op een logaritmische schaal), valt het volgende op:
- GPT-6.1 Sol biedt een uitzonderlijk goede waarde: het is het enige LLM in het meest aantrekkelijke kwadrant, met een tweede plaats voor slechts iets meer dan een tiende van de kosten per run van GPT-6 Astra.
- De prijsstelling van Muse Wonder Full is gebaseerd op de API-prijzen van Muse Wonder.
Geen tekenen van verzadiging
De sterkste door mensen geschreven bots lopen nog steeds ver voor op elk model. Tegen bots als Stardust, PurpleWave en BananaBrain wint het beste model, GPT-6 Astra, slechts 7% van de wedstrijden.
Hoewel de tijdslimiet van één uur voor redenering een factor is, worden deze wedstrijden gespeeld op drie kaarten voor twee spelers. Echte toernooicondities voor door mensen geschreven bots zijn aanzienlijk zwaarder.
Hoogtepunten van nieuwe AI-modellen
De nieuwe flagships van Google en Meta vervangen Gemini 3.8 Flash en Muse Spark 1.3 uit v0.1:
- Gemini 4 Argon behaalt de 3e plaats.
- Muse Wonder Full behaalt de 7e plaats.
- GPT-6 Astra en Claude Opus 5.5 waren reeds opgenomen in v0.1.
Gedrag van AI-modellen
De agent trace van elke run legt vast hoe het uur is besteed. De sterkste voorspeller van de score van een model is hoeveel oefenwedstrijden het heeft gespeeld tegen de zeven sterkste bots uit de selectie.
- GPT-6 Astra, GPT-6.1 Sol en Gemini 4 Argon beginnen al vroeg in het uur tegen deze sterke bots te spelen, zelfs terwijl hun eigen bots nog verliezen.
- Muse Wonder Full, Claude Haiku 5.5 en GPT-6 Luna doen dit zelden of nooit.
- Claude Fable 5.1 is een uitzondering: het behaalt een score van 37 terwijl het bijna uitsluitend oefent tegen zwakkere bots.
Variantie tussen runs
De resultaten variëren ook tussen verschillende runs van hetzelfde model. Gemini 4 Argon vertoont veel meer variatie dan de flagships van andere labs: het verschil tussen de beste en slechtste run is 18 punten, tegenover 9 punten voor GPT-6 Astra en 8 punten voor Claude Opus 5.5.
Implementatiedetails
Doelstelling
Elk LLM schrijft een Protoss-bot in C++ gebruikmakend van:
De wedstrijden zijn Protoss versus Protoss op drie ladder-kaarten: Heartbreak Ridge, Benzene en Destination. Een wedstrijd eindigt wanneer alle gebouwen van één zijde zijn vernietigd. Wedstrijden die de tijdslimiet van 60 minuten (86.400 frames) bereiken, worden beslist volgens de BASIL-ladder: de partij met de hoogste score voor kills en razings (vernietigde gebouwen) wint.
Het LLM start met een basisbot (skeleton bot) die enkel mineralen verzamelt. Het model krijgt toegang tot de broncode van drie demo-bots en twee standaard bot-bibliotheken:
- FAP: een gevechtssimulator.
- BWEM: een kaartanalyser.
De code die zich in de bot-map bevindt op het moment dat het uur om is, is de definitieve bot; het model moet dus ervoor zorgen dat de bot compileert.
Het LLM beschikt over tools om de bot te compileren, oefenwedstrijden te spelen en samenvattingen, transcripten en logs van wedstrijden te lezen. Oefentegenstanders zijn verdeeld in tiers:
- Tier D: de drie demo-bots.
- Tier C en B: elk drie mid-ranked bots geschreven door mensen.
- Tier A: BananaBrain, Locutus.
- Tier S: Stardust, PurpleWave.
Toernooi-opzet
| Onderdeel | Details |
|---|
| LLM bots | 5 finale bots per model |
| Tegenstanders | 13 roster-bots (10 competitieve menselijke bots, 3 demo-bots) |
| Wedstrijden | 6 keer per kaart op verse seeds |
In tegenstelling tot v0.1 spelen de LLM-bots in v0.2 niet tegen elkaar.
Harness en Redenering
Omgeving (Harness)
In v0.1 draaide elk model in dezelfde neutrale 3e partij harness. In v0.2 draait elk model in de eigen CLI-omgeving van het lab bij de hoogste redeneerinstelling.
Gebruikte CLI-omgevingen:
- Inspect ReAct deepagent: Claude Opus 5.5, GPT-6 Astra, Sol, Luna, Gemini 3.8 Flash, Muse Spark 1.3.
- Claude Code (v2.1.296): Claude Opus 5.5, Fable 5.1, Sonnet 5.5, Haiku 5.5.
- Codex (v0.162.1): GPT-6 Astra, GPT-6.1 Sol, GPT-6 Luna.
- Antigravity CLI (v1.3.5): Gemini 4 Argon.
- Muse Code (v1.4.7): Muse Wonder Full.
Redeneerinspanning (Reasoning Effort)
Waar v0.1 elk model op 'high' liet draaien, gebruikt v0.2 de instelling 'max'. Voor Gemini 4 Argon is 'high' de hoogste ondersteunde instelling.
Contextbeheer en Beperkingen:
- Alle v0.2 CLI's comprimeren de context van het model bij ongeveer 250k tokens. Bijvoorbeeld: Codex geeft GPT-modellen een standaardvenster van 272k tokens en activeert compressie zodra dit voor 90% gevuld is.
- Tools voor websearch en web-fetch zijn uitgeschakeld; de agent heeft geen internettoegang.
- De CLI is vooraf geïnstalleerd; de tijdslimiet begint zodra de agent start.
- Er is geen 'submit'-tool; de harness verzamelt de bot automatisch zodra de tijd om is.
Scoring
Versie 0.2 vervangt de Elo-ratings uit v0.1 door eenvoudige winrates.
- Bot-score: de winrate over de toernooiwedstrijden.
- Model-score (StarSkirmish Bench): het gemiddelde van de scores van de vijf bots (van 0 tot 100).
Doordat elke bot tegen een vaste selectie tegenstanders speelt, zijn de wedstrijden onafhankelijk van andere LLM-bots. Dit maakt het mogelijk om nieuwe modellen te scoren zonder anderen opnieuw te laten spelen en zorgt ervoor dat scores tussen verschillende modelgeneraties direct vergelijkbaar zijn.
Correlaties met andere Benchmarks
StarSkirmish volgt niet langer de meest breed gerapporteerde evaluaties. Er is weinig correlatie met de Artificial Analysis Intelligence Index ($\rho$ 0.26), waarbij GPT-6 Astra slechts op de 4e plaats van de 9 modellen staat. Ook is de correlatie met Terminal-Bench 4.0 afgenomen; Claude Sonnet 5.5 en Muse Wonder Full scoren daar hoog, maar in StarSkirmish laag.
StarSkirmish vertoont nog wel correlaties met:
- Vals IOI: Olympiade-programmeerproblemen in C++.
- WeirdML: een onafhankelijke benchmark voor ongebruikelijke machine learning-codeertaken.
Een mogelijke conclusie is dat de meest populaire benchmarks doelwitten zijn geworden waar modellen specifiek op worden getuned, terwijl minder doelgerichte tests voor complexe codeertaken over een lange horizon nog steeds samen bewegen.
StarSkirmish Bench v0.2
Samenvatting (TL;DR)
- StarSkirmish is een benchmark waarbij Large Language Models (LLM's) bots schrijven voor StarCraft: Brood War.
- Elk LLM krijgt één uur de tijd om een Protoss-bot in C++ te schrijven, die vervolgens wordt geëvalueerd tegen bots van andere LLM's en gevestigde, door mensen geschreven bots.
- StarSkirmish test redeneren over een lange horizon en agentische codering, aangezien LLM's leerervaringen uit oefenwedstrijden moeten integreren om hun StarCraft-bot te verbeteren.
StarSkirmish Bench v0.2
De StarSkirmish Bench evalueert hoe sterke een StarCraft-bot elk LLM kan schrijven binnen één uur werkelijke tijd. Versie 0.2 is een update van v0.1 en bevat flagship-modellen van OpenAI, Anthropic, Google en Meta, waarbij elk model wordt uitgevoerd in de eigen CLI-omgeving (harness) van het respectievelijke lab.
De score van een LLM weerspiegelt de winrate tegen een selectie van competitieve, door mensen geschreven bots en demo-bots.
Resultaten
De scores zijn gebaseerd op de gemiddelde winrate (0–100) van vijf runs per model tegen een reeks competitieve bots. Gemini 4 Argon is ingesteld op 'high' (de hoogste beschikbare redeneerinspanning); alle andere modellen draaien op 'max'.
- GPT-6 Astra is het best scorende model in StarSkirmish Bench v0.2 en staat een duidelijke stap voor op GPT-6.1 Sol, dat tweede is.
- Gemini 4 Argon, Claude Opus 5.5 en Claude Fable 5.1 scoren nagenoeg gelijk achter de top twee, met scores tussen de 37 en 39.
Kosten versus Prestaties
Wanneer de score wordt afgezet tegen de gemiddelde API-kosten van één run van een uur (op een logaritmische schaal), valt het volgende op:
- GPT-6.1 Sol biedt een uitzonderlijk goede waarde: het is het enige LLM in het meest aantrekkelijke kwadrant, met een tweede plaats voor slechts iets meer dan een tiende van de kosten per run van GPT-6 Astra.
- De prijsstelling van Muse Wonder Full is gebaseerd op de API-prijzen van Muse Wonder.
Geen tekenen van verzadiging
De sterkste door mensen geschreven bots lopen nog steeds ver voor op elk model. Tegen bots als Stardust, PurpleWave en BananaBrain wint het beste model, GPT-6 Astra, slechts 7% van de wedstrijden.
Hoewel de tijdslimiet van één uur voor redenering een factor is, worden deze wedstrijden gespeeld op drie kaarten voor twee spelers. Echte toernooicondities voor door mensen geschreven bots zijn aanzienlijk zwaarder.
Hoogtepunten van nieuwe AI-modellen
De nieuwe flagships van Google en Meta vervangen Gemini 3.8 Flash en Muse Spark 1.3 uit v0.1:
- Gemini 4 Argon behaalt de 3e plaats.
- Muse Wonder Full behaalt de 7e plaats.
- GPT-6 Astra en Claude Opus 5.5 waren reeds opgenomen in v0.1.
Gedrag van AI-modellen
De agent trace van elke run legt vast hoe het uur is besteed. De sterkste voorspeller van de score van een model is hoeveel oefenwedstrijden het heeft gespeeld tegen de zeven sterkste bots uit de selectie.
- GPT-6 Astra, GPT-6.1 Sol en Gemini 4 Argon beginnen al vroeg in het uur tegen deze sterke bots te spelen, zelfs terwijl hun eigen bots nog verliezen.
- Muse Wonder Full, Claude Haiku 5.5 en GPT-6 Luna doen dit zelden of nooit.
- Claude Fable 5.1 is een uitzondering: het behaalt een score van 37 terwijl het bijna uitsluitend oefent tegen zwakkere bots.
Variantie tussen runs
De resultaten variëren ook tussen verschillende runs van hetzelfde model. Gemini 4 Argon vertoont veel meer variatie dan de flagships van andere labs: het verschil tussen de beste en slechtste run is 18 punten, tegenover 9 punten voor GPT-6 Astra en 8 punten voor Claude Opus 5.5.
Implementatiedetails
Doelstelling
Elk LLM schrijft een Protoss-bot in C++ gebruikmakend van:
De wedstrijden zijn Protoss versus Protoss op drie ladder-kaarten: Heartbreak Ridge, Benzene en Destination. Een wedstrijd eindigt wanneer alle gebouwen van één zijde zijn vernietigd. Wedstrijden die de tijdslimiet van 60 minuten (86.400 frames) bereiken, worden beslist volgens de BASIL-ladder: de partij met de hoogste score voor kills en razings (vernietigde gebouwen) wint.
Het LLM start met een basisbot (skeleton bot) die enkel mineralen verzamelt. Het model krijgt toegang tot de broncode van drie demo-bots en twee standaard bot-bibliotheken:
- FAP: een gevechtssimulator.
- BWEM: een kaartanalyser.
De code die zich in de bot-map bevindt op het moment dat het uur om is, is de definitieve bot; het model moet dus ervoor zorgen dat de bot compileert.
Het LLM beschikt over tools om de bot te compileren, oefenwedstrijden te spelen en samenvattingen, transcripten en logs van wedstrijden te lezen. Oefentegenstanders zijn verdeeld in tiers:
- Tier D: de drie demo-bots.
- Tier C en B: elk drie mid-ranked bots geschreven door mensen.
- Tier A: BananaBrain, Locutus.
- Tier S: Stardust, PurpleWave.
Toernooi-opzet
| Onderdeel | Details |
|---|
| LLM bots | 5 finale bots per model |
| Tegenstanders | 13 roster-bots (10 competitieve menselijke bots, 3 demo-bots) |
| Wedstrijden | 6 keer per kaart op verse seeds |
In tegenstelling tot v0.1 spelen de LLM-bots in v0.2 niet tegen elkaar.
Harness en Redenering
Omgeving (Harness)
In v0.1 draaide elk model in dezelfde neutrale 3e partij harness. In v0.2 draait elk model in de eigen CLI-omgeving van het lab bij de hoogste redeneerinstelling.
Gebruikte CLI-omgevingen:
- Inspect ReAct deepagent: Claude Opus 5.5, GPT-6 Astra, Sol, Luna, Gemini 3.8 Flash, Muse Spark 1.3.
- Claude Code (v2.1.296): Claude Opus 5.5, Fable 5.1, Sonnet 5.5, Haiku 5.5.
- Codex (v0.162.1): GPT-6 Astra, GPT-6.1 Sol, GPT-6 Luna.
- Antigravity CLI (v1.3.5): Gemini 4 Argon.
- Muse Code (v1.4.7): Muse Wonder Full.
Redeneerinspanning (Reasoning Effort)
Waar v0.1 elk model op 'high' liet draaien, gebruikt v0.2 de instelling 'max'. Voor Gemini 4 Argon is 'high' de hoogste ondersteunde instelling.
Contextbeheer en Beperkingen:
- Alle v0.2 CLI's comprimeren de context van het model bij ongeveer 250k tokens. Bijvoorbeeld: Codex geeft GPT-modellen een standaardvenster van 272k tokens en activeert compressie zodra dit voor 90% gevuld is.
- Tools voor websearch en web-fetch zijn uitgeschakeld; de agent heeft geen internettoegang.
- De CLI is vooraf geïnstalleerd; de tijdslimiet begint zodra de agent start.
- Er is geen 'submit'-tool; de harness verzamelt de bot automatisch zodra de tijd om is.
Scoring
Versie 0.2 vervangt de Elo-ratings uit v0.1 door eenvoudige winrates.
- Bot-score: de winrate over de toernooiwedstrijden.
- Model-score (StarSkirmish Bench): het gemiddelde van de scores van de vijf bots (van 0 tot 100).
Doordat elke bot tegen een vaste selectie tegenstanders speelt, zijn de wedstrijden onafhankelijk van andere LLM-bots. Dit maakt het mogelijk om nieuwe modellen te scoren zonder anderen opnieuw te laten spelen en zorgt ervoor dat scores tussen verschillende modelgeneraties direct vergelijkbaar zijn.
Correlaties met andere Benchmarks
StarSkirmish volgt niet langer de meest breed gerapporteerde evaluaties. Er is weinig correlatie met de Artificial Analysis Intelligence Index ($\rho$ 0.26), waarbij GPT-6 Astra slechts op de 4e plaats van de 9 modellen staat. Ook is de correlatie met Terminal-Bench 4.0 afgenomen; Claude Sonnet 5.5 en Muse Wonder Full scoren daar hoog, maar in StarSkirmish laag.
StarSkirmish vertoont nog wel correlaties met:
- Vals IOI: Olympiade-programmeerproblemen in C++.
- WeirdML: een onafhankelijke benchmark voor ongebruikelijke machine learning-codeertaken.
Een mogelijke conclusie is dat de meest populaire benchmarks doelwitten zijn geworden waar modellen specifiek op worden getuned, terwijl minder doelgerichte tests voor complexe codeertaken over een lange horizon nog steeds samen bewegen.
Groetjes,