DrivingBench

Kunnen frontier-modellen een echte auto besturen? We geven ze controle over het stuur, het gaspedaal en de remmen van een Toyota Corolla en evalueren ze vervolgens op een vast parcours met kegels.

Definities van meetwaarden

Voor de evaluatie van de pogingen worden de volgende criteria gebruikt:

  • Voortgang (Progress): Hoe ver de poging langs de middellijn van het parcours is gekomen terwijl deze binnen 4 meter van de lijn bleef, uitgedrukt als een percentage van de totale lengte van de middellijn tot aan de finishzone. Een botsing zorgt ervoor dat de tot dan toe bereikte voortgang wordt behouden.
  • Afstand (Distance): De GPS-snelheid geïntegreerd vanaf de eerste geaccepteerde set_motion tot het einde van de laatste interactie van de poging.
  • Finishtijd (Finish time): De tijd tussen de eerste geaccepteerde set_motion en het einde van de laatste interactie van de poging. Dit wordt alleen weergegeven voor voltooide runs; DNF betekent did not finish.
  • Commando's (Commands): De geaccepteerde setmotion en stopnow aanroepen tijdens de poging.
  • Tokens en kosten (Tokens · cost): De totale tokens en kosten tegen de lijstprijzen voor de poging, inclusief de reflectie daarna.

Leaderboard

De modellen kregen maximaal drie pogingen in één continue chat.

GPT-6 Astra

Codex · medium

  • Beste voortgang: 100%
  • Finishtijd: 5:22
  • Pogingen:
  • Poging 1: 49% voortgang | 67,3 m | DNF | 81,2M tokens · $2,01
  • Poging 2: 100% voortgang | 134,7 m | 5:22 | 246,6M tokens · $7,74
  • Poging 3: —

Claude Fable 5.1

Claude Code · medium

  • Beste voortgang: 45%
  • Pogingen:
  • Poging 1: 9% voortgang | 17,5 m | DNF | 3581k tokens · $0,96
  • Poging 2: 10% voortgang | 27,3 m | DNF | 4866k tokens · $1,35
  • Poging 3: 45% voortgang | 73,7 m | DNF | 82,1M tokens · $1,64

Grok 4.6

Cursor · medium

  • Beste voortgang: 11%
  • Pogingen:
  • Poging 1: 8% voortgang | 14,4 m | DNF | 2216k tokens · $0,18
  • Poging 2: 11% voortgang | 22,6 m | DNF | 3294k tokens · $0,19
  • Poging 3: 10% voortgang | 22,2 m | DNF | 3516k tokens · $0,29

GPT-5.6 Sol

Codex · medium

  • Beste voortgang: 6%
  • Pogingen:
  • Poging 1: 6% voortgang | 15,0 m | DNF | 3364k tokens · $0,35
  • Poging 2: 6% voortgang | 15,6 m | DNF | 4729k tokens · $0,43
  • Poging 3: 6% voortgang | 17,1 m | DNF | 2517k tokens · $0,27