Jevman is een open-source benchmark tool die bedoeld is om de prestaties van AI-beslissingsmodellen te testen binnen de context van het arcade-spel Pac-Man. Modellen kunnen deelnemen via een HTTP-endpoint, waarbij het spel de status van het doolhof als JSON verstuurt en het model een bewegingsrichting teruggeeft.
De belangrijkste kenmerken van de benchmark zijn:
- Methodiek: Elk model speelt 100 spellen tegen klassieke geesten met een tijdslimiet van 5 minuten en drie levens.
- Restricties: Er geldt een harde deadline van 2 seconden per beslissing; bij overschrijding wordt een backup-regel gebruikt.
- Score: De ranglijst is gebaseerd op de gemiddelde score met een foutmarge van 95%.
- Verificatie: Spellen worden opgenomen, waardoor resultaten exact kunnen worden afgespeeld en gecontroleerd.
Ontwikkelaars kunnen hun eigen modellen benchmarken en via een pull request toevoegen aan het leaderboard in de repository opper-ai/jevman-benchmark.
jevman: Een Pac-Man benchmark voor beslissingsmodellen
Leaderboard
Er zijn 100 spellen per model gespeeld tegen de klassieke geesten. Een aanduiding van =1 betekent een gelijkspel: deze scores vallen binnen elkaars foutmarge.
Benchmark je eigen model
jevman is open source en elk model achter een HTTP-endpoint kan meedoen: een gehost model, een fine-tune of een model dat op je laptop draait.
- Plaats je model achter een endpoint
Bij elke splitsing stuurt het spel het doolhof als JSON en vraagt om een richting, inclusief kansen als je model die heeft. De repository bevat een voorbeeld-endpoint van 34 regels om mee te beginnen.
- Voer de benchmark uit
Met één commando worden de spellen gespeeld volgens de regels van het leaderboard: real-time, 2 seconden per antwoord, de klassieke geesten, drie levens of een tijdslimiet van 5 minuten.
- Dien een pull request in
CI speelt elk ingediend spel opnieuw af en controleert de score. Je model wordt vervolgens als 'zelfgerapporteerd' toegevoegd aan het leaderboard.
Repository: opper-ai/jevman-benchmark (AGPL-3.0)
Is je model beschikbaar op Opper of een andere openbare API? Open een issue en we zullen het zelf draaien.
Methodiek
- Spellen: Elk model speelde 100 spellen tegen de klassieke gescripte geesten, elk tot het al haar drie levens had verloren. Spellen zijn beperkt tot 5 minuten zodat elke run eindigt, maar geen enkele kwam in de buurt: de langste duurde 2 minuten en 24 seconden.
- Beslissingen: Bij elke splitsing stelt het spel het model één vraag, waarbij het doolhof, de pellets en de geesten als status dienen. Het model geeft een waarschijnlijkheid per richting terug, en Pac-Man maakt een keuze.
- Deadline: Een antwoord dat langer dan 2 seconden duurt, wordt vervangen door een eenvoudige backup-regel; dit wordt geteld onder de backup moves.
- Scores: De ranglijst maakt gebruik van de gemiddelde score met een foutmarge van 95% (±2 standaardfouten). Modellen die binnen elkaars marge vallen, worden als gelijk beschouwd. De topscore is het beste individuele spel van een model.
- Controles: Elk spel wordt opgenomen en kan exact worden afgespeeld, zodat elk resultaat gecontroleerd kan worden.
jevman: Een Pac-Man benchmark voor beslissingsmodellen
Leaderboard
Er zijn 100 spellen per model gespeeld tegen de klassieke geesten. Een aanduiding van =1 betekent een gelijkspel: deze scores vallen binnen elkaars foutmarge.
Benchmark je eigen model
jevman is open source en elk model achter een HTTP-endpoint kan meedoen: een gehost model, een fine-tune of een model dat op je laptop draait.
- Plaats je model achter een endpoint
Bij elke splitsing stuurt het spel het doolhof als JSON en vraagt om een richting, inclusief kansen als je model die heeft. De repository bevat een voorbeeld-endpoint van 34 regels om mee te beginnen.
- Voer de benchmark uit
Met één commando worden de spellen gespeeld volgens de regels van het leaderboard: real-time, 2 seconden per antwoord, de klassieke geesten, drie levens of een tijdslimiet van 5 minuten.
- Dien een pull request in
CI speelt elk ingediend spel opnieuw af en controleert de score. Je model wordt vervolgens als 'zelfgerapporteerd' toegevoegd aan het leaderboard.
Repository: opper-ai/jevman-benchmark (AGPL-3.0)
Is je model beschikbaar op Opper of een andere openbare API? Open een issue en we zullen het zelf draaien.
Methodiek
- Spellen: Elk model speelde 100 spellen tegen de klassieke gescripte geesten, elk tot het al haar drie levens had verloren. Spellen zijn beperkt tot 5 minuten zodat elke run eindigt, maar geen enkele kwam in de buurt: de langste duurde 2 minuten en 24 seconden.
- Beslissingen: Bij elke splitsing stelt het spel het model één vraag, waarbij het doolhof, de pellets en de geesten als status dienen. Het model geeft een waarschijnlijkheid per richting terug, en Pac-Man maakt een keuze.
- Deadline: Een antwoord dat langer dan 2 seconden duurt, wordt vervangen door een eenvoudige backup-regel; dit wordt geteld onder de backup moves.
- Scores: De ranglijst maakt gebruik van de gemiddelde score met een foutmarge van 95% (±2 standaardfouten). Modellen die binnen elkaars marge vallen, worden als gelijk beschouwd. De topscore is het beste individuele spel van een model.
- Controles: Elk spel wordt opgenomen en kan exact worden afgespeeld, zodat elk resultaat gecontroleerd kan worden.
Groetjes,