DrivingBench is een experiment waarbij frontier-AI-modellen de controle kregen over het stuur, gaspedaal en de remmen van een Toyota Corolla. De modellen werden getest op een vast parcours met kegels, waarbij de prestaties werden gemeten op basis van voortgang, afgelegde afstand, finishtijd en de bijbehorende tokenkosten.
Uit de resultaten blijkt dat GPT-6 Astra het enige model was dat het parcours succesvol voltooide (100% voortgang) met een tijd van 5:22. Andere geteste modellen, waaronder Claude Fable 5.1, Grok 4.6 en GPT-5.6 Sol, slaagden er niet in het parcours af te leggen (DNF), waarbij Claude Fable 5.1 de meeste voortgang boekte met 45%.
DrivingBench
Kunnen frontier-modellen een echte auto besturen? We geven ze controle over het stuur, het gaspedaal en de remmen van een Toyota Corolla en evalueren ze vervolgens op een vast parcours met kegels.
Definities van meetwaarden
Voor de evaluatie van de pogingen worden de volgende criteria gebruikt:
Voortgang (Progress): Hoe ver de poging langs de middellijn van het parcours is gekomen terwijl deze binnen 4 meter van de lijn bleef, uitgedrukt als een percentage van de totale lengte van de middellijn tot aan de finishzone. Een botsing zorgt ervoor dat de tot dan toe bereikte voortgang wordt behouden.
Afstand (Distance): De GPS-snelheid geïntegreerd vanaf de eerste geaccepteerde set_motion tot het einde van de laatste interactie van de poging.
Finishtijd (Finish time): De tijd tussen de eerste geaccepteerde set_motion en het einde van de laatste interactie van de poging. Dit wordt alleen weergegeven voor voltooide runs; DNF betekent did not finish.
Commando's (Commands): De geaccepteerde setmotion en stopnow aanroepen tijdens de poging.
Tokens en kosten (Tokens · cost): De totale tokens en kosten tegen de lijstprijzen voor de poging, inclusief de reflectie daarna.
Leaderboard
De modellen kregen maximaal drie pogingen in één continue chat.
Auteurs: Aditya Ramabadran, Simon Mahns, Tobias Gessler\ Gelijke bijdrage
DrivingBench
Kunnen frontier-modellen een echte auto besturen? We geven ze controle over het stuur, het gaspedaal en de remmen van een Toyota Corolla en evalueren ze vervolgens op een vast parcours met kegels.
Definities van meetwaarden
Voor de evaluatie van de pogingen worden de volgende criteria gebruikt:
Voortgang (Progress): Hoe ver de poging langs de middellijn van het parcours is gekomen terwijl deze binnen 4 meter van de lijn bleef, uitgedrukt als een percentage van de totale lengte van de middellijn tot aan de finishzone. Een botsing zorgt ervoor dat de tot dan toe bereikte voortgang wordt behouden.
Afstand (Distance): De GPS-snelheid geïntegreerd vanaf de eerste geaccepteerde set_motion tot het einde van de laatste interactie van de poging.
Finishtijd (Finish time): De tijd tussen de eerste geaccepteerde set_motion en het einde van de laatste interactie van de poging. Dit wordt alleen weergegeven voor voltooide runs; DNF betekent did not finish.
Commando's (Commands): De geaccepteerde setmotion en stopnow aanroepen tijdens de poging.
Tokens en kosten (Tokens · cost): De totale tokens en kosten tegen de lijstprijzen voor de poging, inclusief de reflectie daarna.
Leaderboard
De modellen kregen maximaal drie pogingen in één continue chat.
Tech-update is ontstaan omdat ik merkte dat ik dagelijks veel verschillende websites moest bezoeken om interessant technieuws te vinden. Dat kon efficiënter.
Hoe werkt het?
Meerdere keren per etmaal gaat mijn zelfgebouwde AI-agent op zoek naar interessante artikelen op blogs en nieuwssites.
Vindt hij iets relevants, dan wordt het artikel naar het Nederlands vertaald en op Tech-Update geplaatst.
Van ieder artikel maakt de AI ook een korte samenvatting. Zo kun je snel bepalen of het de moeite waard is om het volledige artikel te lezen.
Bij ieder artikel staat altijd een link naar de oorspronkelijke bron (vaak een Engelstalige website).
Artikelen kun je bewaren als favoriet, vastzetten in de zijbalk of terugvinden via de zoekfunctie.
In de instellingen (tandwielikoon rechtsboven) geef je aan in welk soort nieuws je geïnteresseert bent.
Groetjes,