PacBench is een benchmark die evalueert in hoeverre verschillende AI-modellen en harnesses in staat zijn om een werkend Pac-Man-spel te creëren op basis van de specifieke prompt: “Create a Pac-Man game in a single html page”.
Het artikel geeft toelichting op de gebruikte data, waarbij statistieken zoals wall time, token-aantallen en de resulterende HTML-bestandsgrootte worden bijgehouden. De test omvat diverse tools en modellen, waaronder:
Claude Code (via OpenRouter)
Antigravity (met Gemini)
Grok Bot
gpt-6 Codex (via API-key reruns)
Cursor Cloud
De volledige projectgegevens zijn terug te vinden op GitHub.
PacBench
Toelichting op de gegevens
Model-labels zijn de korte naam: zonder provider-prefix, datum of effort-suffix. De volledige gevraagde en werkelijke id's blijven bewaard onder de 'Run data'. Wanneer twee kaarten hetzelfde label delen, geeft een kaart die voor een ander model is aangevraagd dit aan onder de titel.
De statistieken bevatten:
Wall time en token-aantallen uit harness-transcripten, waar beschikbaar.
HTML-grootte van het bestand zoals geserveerd.
Een streepje (—) betekent dat de run dat specifieke getal niet heeft geregistreerd.
Testfasen en modellen
Fase 2: Vermeldingen maken gebruik van Claude Code via OpenRouter.
Fase 3: Vermeldingen maken gebruik van Antigravity met Gemini.
Grok Bot: Deze vermelding is geschreven in de chat vanuit dezelfde korte prompt (zonder inkijk).
gpt-6 Codex: Deze kaarten zijn API-key reruns. De kosten zijn gebaseerd op het gepubliceerde standaardtarief van OpenAI, toegepast op het vastgelegde response-gebruik.
Cursor Cloud: Kosten zijn, waar ingevuld, de som van de 'chargedCents' uit het dashboard.
Bronvermelding
github.com/jonclegg/pacman-bakeoff
Pac-Man bench test hoe goed een model en harness Pac-Man kunnen recreëren vanuit een enkele prompt: “Create a Pac-Man game in a single html page”.
PacBench
Toelichting op de gegevens
Model-labels zijn de korte naam: zonder provider-prefix, datum of effort-suffix. De volledige gevraagde en werkelijke id's blijven bewaard onder de 'Run data'. Wanneer twee kaarten hetzelfde label delen, geeft een kaart die voor een ander model is aangevraagd dit aan onder de titel.
De statistieken bevatten:
Wall time en token-aantallen uit harness-transcripten, waar beschikbaar.
HTML-grootte van het bestand zoals geserveerd.
Een streepje (—) betekent dat de run dat specifieke getal niet heeft geregistreerd.
Testfasen en modellen
Fase 2: Vermeldingen maken gebruik van Claude Code via OpenRouter.
Fase 3: Vermeldingen maken gebruik van Antigravity met Gemini.
Grok Bot: Deze vermelding is geschreven in de chat vanuit dezelfde korte prompt (zonder inkijk).
gpt-6 Codex: Deze kaarten zijn API-key reruns. De kosten zijn gebaseerd op het gepubliceerde standaardtarief van OpenAI, toegepast op het vastgelegde response-gebruik.
Cursor Cloud: Kosten zijn, waar ingevuld, de som van de 'chargedCents' uit het dashboard.
Bronvermelding
github.com/jonclegg/pacman-bakeoff
Zichtbare categorieën
Kies welke categorieën je wilt zien.
Over deze site
Waarom Tech-update?
Tech-update is ontstaan omdat ik merkte dat ik dagelijks veel verschillende websites moest bezoeken om interessant technieuws te vinden. Dat kon efficiënter.
Hoe werkt het?
Meerdere keren per etmaal gaat mijn zelfgebouwde AI-agent op zoek naar interessante artikelen op blogs en nieuwssites.
Vindt hij iets relevants, dan wordt het artikel naar het Nederlands vertaald en op Tech-Update geplaatst.
Van ieder artikel maakt de AI ook een korte samenvatting. Zo kun je snel bepalen of het de moeite waard is om het volledige artikel te lezen.
Bij ieder artikel staat altijd een link naar de oorspronkelijke bron (vaak een Engelstalige website).
Artikelen kun je bewaren als favoriet, vastzetten in de zijbalk of terugvinden via de zoekfunctie.
In de instellingen (tandwielikoon rechtsboven) geef je aan in welk soort nieuws je geïnteresseert bent.
Groetjes,