PacBench

Toelichting op de gegevens

Model-labels zijn de korte naam: zonder provider-prefix, datum of effort-suffix. De volledige gevraagde en werkelijke id's blijven bewaard onder de 'Run data'. Wanneer twee kaarten hetzelfde label delen, geeft een kaart die voor een ander model is aangevraagd dit aan onder de titel.

De statistieken bevatten:

• Wall time en token-aantallen uit harness-transcripten, waar beschikbaar.
• HTML-grootte van het bestand zoals geserveerd.
• Een streepje (—) betekent dat de run dat specifieke getal niet heeft geregistreerd.

Testfasen en modellen

• Fase 2: Vermeldingen maken gebruik van Claude Code via OpenRouter.
• Fase 3: Vermeldingen maken gebruik van Antigravity met Gemini.
• Grok Bot: Deze vermelding is geschreven in de chat vanuit dezelfde korte prompt (zonder inkijk).
• gpt-6 Codex: Deze kaarten zijn API-key reruns. De kosten zijn gebaseerd op het gepubliceerde standaardtarief van OpenAI, toegepast op het vastgelegde response-gebruik.
• Cursor Cloud: Kosten zijn, waar ingevuld, de som van de 'chargedCents' uit het dashboard.

Bronvermelding

github.com/jonclegg/pacman-bakeoff