Dit artikel bespreekt de ontwikkeling van een 'Benchmark-kaart' om te analyseren in hoeverre huidige AI-benchmarks de werkelijke taken van de Amerikaanse beroepsbevolking dekken, gebruikmakend van de O*NET-taxonomie.
De belangrijkste bevindingen zijn:
- Beperkte dekking: Slechts 208 van de 923 beroepen worden gedekt, en naar schatting wordt 90% van de Amerikaanse werkuren besteed aan taken die weinig tot geen dekking hebben in bestaande benchmarks.
- Selectieve focus: Benchmarks richten zich voornamelijk op hoogbetaalde, AI-geëxposeerde beroepen, waardoor een 'long tail' van middelinkomens-kenniswerkbanen ondervertegenwoordigd blijft.
- Methodologie: Er is gewerkt met 29 kwalitatieve benchmarks die via een LLM-beoordelaar zijn gekoppeld aan specifieke O*NET-taken.
- Uitdagingen: De auteurs benadrukken dat het meten van AI-capaciteiten complex blijft door de lage statistische kracht per beroep, het onderscheid tussen automatisering en augmentatie, en het feit dat 63% van de banen fysieke componenten bevat die niet digitaal te benchmarken zijn.
Een benchmark-kaart van de Amerikaanse economie
Kerncijfers uit de index:
- Gedekte beroepen: 208 van de 923
- Gedekte taken: 924 van de 18.797
- Aantal benchmarks in de index: 29
De Benchmark-kaart
Elke tegel vertegenwoordigt een van de 923 ONET-beroepen die de Amerikaanse beroepsbevolking vormen, gegroepeerd in 22 beroepsfamilies. Beroepen zijn ingekleurd op basis van het aandeel van hun taken dat wordt vertegenwoordigd in onze initiële lijst van AI-benchmarks. Een enkele benchmark-prompt kan gekoppeld worden aan meerdere ONET-taken.
Dekking per beroepsfamilie
Onderstaand staat het aantal gedekte beroepen per O*NET-beroepsfamilie:
| Beroepsfamilie | Gedekte beroepen |
|---|
| Computer & Wiskunde | 29 / 36 |
| Bedrijfsvoering & Financieel | 33 / 48 |
| Maatschappelijke Dienstverlening | 10 / 14 |
| Juridisch | 5 / 7 |
| Kantoor & Administratie | 21 / 51 |
| Management | 21 / 56 |
| Architectuur & Engineering | 19 / 56 |
| Verkoop | 6 / 22 |
| Kunst & Media | 13 / 40 |
| Wetenschap | 15 / 60 |
| Zorgverleners | 12 / 89 |
| Educatie & Bibliotheek | 9 / 62 |
In onze dataset hebben slechts 208 van de 923 beroepen een taak met minstens 5 benchmark-prompts, en 6 van de 22 beroepsfamilies hebben geen enkel beroep met deze dekking.
Onze bevindingen suggereren dat 90% van de Amerikaanse werkuren wordt besteed aan taken met weinig of geen dekking door bestaande benchmarks. Dit maakt het zeer moeilijk om te bepalen hoe goed AI-modellen daadwerkelijk zijn in het werk dat Amerikanen uitvoeren.
De dekking van bestaande benchmarks is bovendien niet willekeurig. Onze kaart suggereert dat de AI-gemeenschap zich eerst richt op de grootste arbeidsmarkten. Bijvoorbeeld: benchmarks in onze initiële lijst dekken uitgebreid de taken van AI-geëxposeerde advocaten, maar nauwelijks de O*NET-taken van vergelijkbaar AI-geëxposeerde juridisch secretaresses of griffiers. De 'long tail' van kleinere, middelinkomens-kenniswerkbanen lijkt onderbedekt.
Naarmate we onze dekking van modelcapaciteiten in de economie uitbreiden, hopen we hiaten in ons begrip van wat modellen kunnen zowel zichtbaar te maken als te helpen opvullen.
Methodologie in het kort
Om de economie op te delen in sectoren, beroepen en taken, hebben we de ONET-taxonomie van het Amerikaanse Ministerie van Arbeid gebruikt. ONET verdeelt de Amerikaanse beroepsbevolking in 923 beroepen; voor elk beroep probeert O*NET een uitgebreide lijst van "taken" te bieden, wat in totaal 18.797 taken over alle beroepen oplevert.
Voorbeeld — 6 van de 22 taken die O*NET associeert met Advocaten:
- Het voorbereiden, opstellen en beoordelen van juridische documenten, zoals testamenten, aktes, octrooiaanvragen, hypotheken, huurovereenkomsten en contracten.
- Cliënten adviseren over zakelijke transacties, aansprakelijkheid, de raadzaamheid van het aanspannen of verdedigen van rechtszaken, of juridische rechten en verplichtingen.
- Wetten, uitspraken en regelgeving interpreteren voor individuen en bedrijven.
- De waarschijnlijke uitkomsten van zaken analyseren met behulp van kennis van juridische precedenten.
- Bewijs presenteren om cliënten te verdedigen of beklaagden in straf- of civiele procedures te vervolgen.
- Juridisch assistenten begeleiden.
Om de benchmark-dekking te meten, beginnen we met een lijst van 29 benchmarks die zijn geselecteerd op kwaliteit en economische relevantie. Bij de selectie hebben we prioriteit gegeven aan:
- Publieke beschikbaarheid: Inbegrepen benchmarks hebben minstens 25 publiek beschikbare taken. We includeren ook de APEX-benchmarks van Mercor, waarbij we toegang hebben tot 'held-out' benchmark-prompts.
- Agentische taken: Inbegrepen benchmarks vragen modellen om agentische taken uit te voeren, in plaats van enkel vragen te beantwoorden of de gebruiker te adviseren over hoe een taak te voltooien.
- Economisch realisme: Benchmark-taken lijken op taken die mensen (of agenten) in echte ondernemingen vaak moeten uitvoeren. Economisch waardevolle taken kregen voorrang op academisch complexe taken.
- Economische diversiteit: We hebben het aantal benchmarks per beroepsfamilie begrensd, grotendeels om de enorme overrepresentatie van software engineering en onderzoekstaken in populaire benchmarks te compenseren.
- Gebalanceerde moeilijkheidsgraad: Benchmarks zijn nog niet verzadigd door frontier-modellen.
Vervolgens vragen we een LLM-beoordelaar om elke benchmark-prompt te taggen met alle ONET-taken die volgens het model bij die prompt passen. We valideren deze LLM-tagging met tags van menselijke experts op de APEX-benchmarks van Mercor. Op de Benchmark-kaart wordt een ONET-taak als "gedekt" beschouwd als onze LLM-beoordelaar deze heeft gekoppeld aan minstens 5 prompts uit onze 29 benchmarks.
Om het totale aandeel van werkuren dat Amerikanen besteden aan taken die door benchmarks op deze lijst worden gedekt te schatten, combineren we onze schattingen met de door LLM's afgeleide schattingen van Hatgis-Kessell et al. over het tijdsbestedingsaandeel van elke O*NET-taak.
Beperkingen
Onze schattingen van de totale economische dekking en de patronen daarin zijn gebaseerd op de initiële lijst van 29 benchmarks. Dit is geen volledige of perfect representatieve steekproef van het bredere universum van onverzadigde, publieke, agentische economische benchmarks. Elke onvolledige lijst zal noodzakelijkerwijs leiden tot een onderschatting van de economische dekking. Deze resultaten zijn daarom voorlopig.
We hebben bovendien het aantal benchmarks per beroepsfamilie begrensd om de breedte van de dekking te maximaliseren. We geloven dat dit de schatting van de economie-brede dekking nauwkeuriger maakt, ten koste van een onderschatting van de dekking in de meest gebenchmarkte beroepsfamilies (bijv. software engineering).
Door te selecteren op onverzadigde benchmarks, riskeren we de dekking van O*NET-taken die voor LLM's gemakkelijker zijn te voltooien, te onderschatten. Aan de andere kant zou het includeren van verzadigde benchmarks het risico meebrengen de dekking te overschatten als verzadiging een gevolg is van een lagere taakrealisme.
Ten slotte zijn enkele selectiecriteria (zoals "Economisch Realisme") moeilijk te formaliseren, wat een zekere mate van subjectiviteit introduceert.
Patronen in de dekking
De benchmarks in onze index hebben een relatief diepe maar smalle dekking van de totale economie. Ze richten zich onevenredig veel op de economische taken die het meest blootstaan aan AI-automatisering (zoals gemeten door Eloundou et al.); O*NET-taken die als "geëxposeerd" zijn aangemerkt, zijn ongeveer 6 keer vaker vertegenwoordigd in benchmarks dan taken die als "niet-geëxposeerd" zijn aangemerkt.
Maar zelfs na correctie voor AI-expositie zijn O*NET-taken van beroepen met grotere geannualiseerde loonsommen significant oververtegenwoordigd.
Daarnaast is de "taakimportantie" volgens O*NET een voorspeller van benchmark-dekking. Taken die door domeinexperts als het meest belangrijk zijn gescoord (op een schaal van 1-5), zijn ongeveer 6 tot 10 keer vaker vertegenwoordigd in benchmarks dan de minst belangrijke taken.
Deze patronen suggereren een redelijke allocatie van de beperkte middelen: het is logisch om prioriteit te geven aan benchmarks die de belangrijkste en AI-geëxposeerde taken dekken in beroepen met de grootste loonsommen. Echter, zonder een aanzienlijke toename in het aantal en de diversiteit van deze benchmarks, zullen deze patronen leiden tot significante blinde vlekken in ons inzicht in economisch waardevolle modelcapaciteiten.
Kunnen O*NET + benchmarks ons vertellen hoe goed AI is in jouw baan?
Het meten van modelcapaciteiten per beroep is essentieel voor bedrijven, beleidsmakers en werknemers. Dit is echter een moeilijk probleem. Een simpel gemiddelde van modelprestaties op alle relevante benchmark-prompts zou te veel gewicht geven aan taken die vaak gebenchmarkt worden.
ONET biedt een manier om deze bias te verminderen. Door de prestaties te wegen zodat elke ONET-taak even zwaar meetelt in het gemiddelde van een beroep, komen we dichter bij een getal dat de werkelijke economische prestatie vertegenwoordigt.
We hebben deze benadering getest op de APEX-benchmarks voor vier beroepen: investment banking, recht, accountancy en software engineering. De resultaten (gewogen versus ongewogen scores) waren over het algemeen zeer vergelijkbaar. In dit specifieke geval verandert ONET-weging weinig, omdat de prestaties op APEX-prompts vergelijkbaar zijn over de geïncludeerde ONET-taken.
Toch blijven er verschillende obstakels:
- Lage statistische kracht: Vanwege de enorme breedte van het werk in de Amerikaanse economie hebben we relatief weinig benchmark-items per O*NET-beroep en taak. Hierdoor kunnen één of twee items van lage kwaliteit de scores ernstig beïnvloeden.
- Variërende moeilijkheidsgraad en getrouwheid: Sommige items zijn verzadigd, andere onopgelost. Dit komt door de ouderdom van de benchmark of de kwaliteit van de grading. Er is nog geen expliciete methode om te wegen op basis van kwaliteit.
- Automatisering versus augmentatie: In de praktijk worden AI-modellen vooral gebruikt door mensen om productiviteit te verhogen (augmentatie), in plaats van volledige functies end-to-end te automatiseren. Het meten van hoe een model menselijke productiviteit verbetert, is methodologisch nog complex.
- Meetbaarheid van alle taken: Kenniswerk leent zich goed voor benchmarks omdat het digitaal gebeurt. Echter, naar schatting bevatten circa 63% van de banen taken met een fysieke component, die moeilijk in huidige benchmarks te integreren zijn.
--- We zijn in hetGetComponents van Wang et al. voor de ONET-tagging methodologie, en danken Nathan Lambert voor feedback op een concept van dit werk.*
Een benchmark-kaart van de Amerikaanse economie
Kerncijfers uit de index:
- Gedekte beroepen: 208 van de 923
- Gedekte taken: 924 van de 18.797
- Aantal benchmarks in de index: 29
De Benchmark-kaart
Elke tegel vertegenwoordigt een van de 923 ONET-beroepen die de Amerikaanse beroepsbevolking vormen, gegroepeerd in 22 beroepsfamilies. Beroepen zijn ingekleurd op basis van het aandeel van hun taken dat wordt vertegenwoordigd in onze initiële lijst van AI-benchmarks. Een enkele benchmark-prompt kan gekoppeld worden aan meerdere ONET-taken.
Dekking per beroepsfamilie
Onderstaand staat het aantal gedekte beroepen per O*NET-beroepsfamilie:
| Beroepsfamilie | Gedekte beroepen |
|---|
| Computer & Wiskunde | 29 / 36 |
| Bedrijfsvoering & Financieel | 33 / 48 |
| Maatschappelijke Dienstverlening | 10 / 14 |
| Juridisch | 5 / 7 |
| Kantoor & Administratie | 21 / 51 |
| Management | 21 / 56 |
| Architectuur & Engineering | 19 / 56 |
| Verkoop | 6 / 22 |
| Kunst & Media | 13 / 40 |
| Wetenschap | 15 / 60 |
| Zorgverleners | 12 / 89 |
| Educatie & Bibliotheek | 9 / 62 |
In onze dataset hebben slechts 208 van de 923 beroepen een taak met minstens 5 benchmark-prompts, en 6 van de 22 beroepsfamilies hebben geen enkel beroep met deze dekking.
Onze bevindingen suggereren dat 90% van de Amerikaanse werkuren wordt besteed aan taken met weinig of geen dekking door bestaande benchmarks. Dit maakt het zeer moeilijk om te bepalen hoe goed AI-modellen daadwerkelijk zijn in het werk dat Amerikanen uitvoeren.
De dekking van bestaande benchmarks is bovendien niet willekeurig. Onze kaart suggereert dat de AI-gemeenschap zich eerst richt op de grootste arbeidsmarkten. Bijvoorbeeld: benchmarks in onze initiële lijst dekken uitgebreid de taken van AI-geëxposeerde advocaten, maar nauwelijks de O*NET-taken van vergelijkbaar AI-geëxposeerde juridisch secretaresses of griffiers. De 'long tail' van kleinere, middelinkomens-kenniswerkbanen lijkt onderbedekt.
Naarmate we onze dekking van modelcapaciteiten in de economie uitbreiden, hopen we hiaten in ons begrip van wat modellen kunnen zowel zichtbaar te maken als te helpen opvullen.
Methodologie in het kort
Om de economie op te delen in sectoren, beroepen en taken, hebben we de ONET-taxonomie van het Amerikaanse Ministerie van Arbeid gebruikt. ONET verdeelt de Amerikaanse beroepsbevolking in 923 beroepen; voor elk beroep probeert O*NET een uitgebreide lijst van "taken" te bieden, wat in totaal 18.797 taken over alle beroepen oplevert.
Voorbeeld — 6 van de 22 taken die O*NET associeert met Advocaten:
- Het voorbereiden, opstellen en beoordelen van juridische documenten, zoals testamenten, aktes, octrooiaanvragen, hypotheken, huurovereenkomsten en contracten.
- Cliënten adviseren over zakelijke transacties, aansprakelijkheid, de raadzaamheid van het aanspannen of verdedigen van rechtszaken, of juridische rechten en verplichtingen.
- Wetten, uitspraken en regelgeving interpreteren voor individuen en bedrijven.
- De waarschijnlijke uitkomsten van zaken analyseren met behulp van kennis van juridische precedenten.
- Bewijs presenteren om cliënten te verdedigen of beklaagden in straf- of civiele procedures te vervolgen.
- Juridisch assistenten begeleiden.
Om de benchmark-dekking te meten, beginnen we met een lijst van 29 benchmarks die zijn geselecteerd op kwaliteit en economische relevantie. Bij de selectie hebben we prioriteit gegeven aan:
- Publieke beschikbaarheid: Inbegrepen benchmarks hebben minstens 25 publiek beschikbare taken. We includeren ook de APEX-benchmarks van Mercor, waarbij we toegang hebben tot 'held-out' benchmark-prompts.
- Agentische taken: Inbegrepen benchmarks vragen modellen om agentische taken uit te voeren, in plaats van enkel vragen te beantwoorden of de gebruiker te adviseren over hoe een taak te voltooien.
- Economisch realisme: Benchmark-taken lijken op taken die mensen (of agenten) in echte ondernemingen vaak moeten uitvoeren. Economisch waardevolle taken kregen voorrang op academisch complexe taken.
- Economische diversiteit: We hebben het aantal benchmarks per beroepsfamilie begrensd, grotendeels om de enorme overrepresentatie van software engineering en onderzoekstaken in populaire benchmarks te compenseren.
- Gebalanceerde moeilijkheidsgraad: Benchmarks zijn nog niet verzadigd door frontier-modellen.
Vervolgens vragen we een LLM-beoordelaar om elke benchmark-prompt te taggen met alle ONET-taken die volgens het model bij die prompt passen. We valideren deze LLM-tagging met tags van menselijke experts op de APEX-benchmarks van Mercor. Op de Benchmark-kaart wordt een ONET-taak als "gedekt" beschouwd als onze LLM-beoordelaar deze heeft gekoppeld aan minstens 5 prompts uit onze 29 benchmarks.
Om het totale aandeel van werkuren dat Amerikanen besteden aan taken die door benchmarks op deze lijst worden gedekt te schatten, combineren we onze schattingen met de door LLM's afgeleide schattingen van Hatgis-Kessell et al. over het tijdsbestedingsaandeel van elke O*NET-taak.
Beperkingen
Onze schattingen van de totale economische dekking en de patronen daarin zijn gebaseerd op de initiële lijst van 29 benchmarks. Dit is geen volledige of perfect representatieve steekproef van het bredere universum van onverzadigde, publieke, agentische economische benchmarks. Elke onvolledige lijst zal noodzakelijkerwijs leiden tot een onderschatting van de economische dekking. Deze resultaten zijn daarom voorlopig.
We hebben bovendien het aantal benchmarks per beroepsfamilie begrensd om de breedte van de dekking te maximaliseren. We geloven dat dit de schatting van de economie-brede dekking nauwkeuriger maakt, ten koste van een onderschatting van de dekking in de meest gebenchmarkte beroepsfamilies (bijv. software engineering).
Door te selecteren op onverzadigde benchmarks, riskeren we de dekking van O*NET-taken die voor LLM's gemakkelijker zijn te voltooien, te onderschatten. Aan de andere kant zou het includeren van verzadigde benchmarks het risico meebrengen de dekking te overschatten als verzadiging een gevolg is van een lagere taakrealisme.
Ten slotte zijn enkele selectiecriteria (zoals "Economisch Realisme") moeilijk te formaliseren, wat een zekere mate van subjectiviteit introduceert.
Patronen in de dekking
De benchmarks in onze index hebben een relatief diepe maar smalle dekking van de totale economie. Ze richten zich onevenredig veel op de economische taken die het meest blootstaan aan AI-automatisering (zoals gemeten door Eloundou et al.); O*NET-taken die als "geëxposeerd" zijn aangemerkt, zijn ongeveer 6 keer vaker vertegenwoordigd in benchmarks dan taken die als "niet-geëxposeerd" zijn aangemerkt.
Maar zelfs na correctie voor AI-expositie zijn O*NET-taken van beroepen met grotere geannualiseerde loonsommen significant oververtegenwoordigd.
Daarnaast is de "taakimportantie" volgens O*NET een voorspeller van benchmark-dekking. Taken die door domeinexperts als het meest belangrijk zijn gescoord (op een schaal van 1-5), zijn ongeveer 6 tot 10 keer vaker vertegenwoordigd in benchmarks dan de minst belangrijke taken.
Deze patronen suggereren een redelijke allocatie van de beperkte middelen: het is logisch om prioriteit te geven aan benchmarks die de belangrijkste en AI-geëxposeerde taken dekken in beroepen met de grootste loonsommen. Echter, zonder een aanzienlijke toename in het aantal en de diversiteit van deze benchmarks, zullen deze patronen leiden tot significante blinde vlekken in ons inzicht in economisch waardevolle modelcapaciteiten.
Kunnen O*NET + benchmarks ons vertellen hoe goed AI is in jouw baan?
Het meten van modelcapaciteiten per beroep is essentieel voor bedrijven, beleidsmakers en werknemers. Dit is echter een moeilijk probleem. Een simpel gemiddelde van modelprestaties op alle relevante benchmark-prompts zou te veel gewicht geven aan taken die vaak gebenchmarkt worden.
ONET biedt een manier om deze bias te verminderen. Door de prestaties te wegen zodat elke ONET-taak even zwaar meetelt in het gemiddelde van een beroep, komen we dichter bij een getal dat de werkelijke economische prestatie vertegenwoordigt.
We hebben deze benadering getest op de APEX-benchmarks voor vier beroepen: investment banking, recht, accountancy en software engineering. De resultaten (gewogen versus ongewogen scores) waren over het algemeen zeer vergelijkbaar. In dit specifieke geval verandert ONET-weging weinig, omdat de prestaties op APEX-prompts vergelijkbaar zijn over de geïncludeerde ONET-taken.
Toch blijven er verschillende obstakels:
- Lage statistische kracht: Vanwege de enorme breedte van het werk in de Amerikaanse economie hebben we relatief weinig benchmark-items per O*NET-beroep en taak. Hierdoor kunnen één of twee items van lage kwaliteit de scores ernstig beïnvloeden.
- Variërende moeilijkheidsgraad en getrouwheid: Sommige items zijn verzadigd, andere onopgelost. Dit komt door de ouderdom van de benchmark of de kwaliteit van de grading. Er is nog geen expliciete methode om te wegen op basis van kwaliteit.
- Automatisering versus augmentatie: In de praktijk worden AI-modellen vooral gebruikt door mensen om productiviteit te verhogen (augmentatie), in plaats van volledige functies end-to-end te automatiseren. Het meten van hoe een model menselijke productiviteit verbetert, is methodologisch nog complex.
- Meetbaarheid van alle taken: Kenniswerk leent zich goed voor benchmarks omdat het digitaal gebeurt. Echter, naar schatting bevatten circa 63% van de banen taken met een fysieke component, die moeilijk in huidige benchmarks te integreren zijn.
--- We zijn in hetGetComponents van Wang et al. voor de ONET-tagging methodologie, en danken Nathan Lambert voor feedback op een concept van dit werk.*
Groetjes,