Unreal Labs heeft Unreal Agent geïntroduceerd, een harness voor AI-agents die is ontworpen om de operationele kosten te verlagen en de reactiesnelheid te verhogen zonder in te leveren op prestaties.
Kernpunten van de architectuur:
- Asynchrone tool-calls: De harness beheert tool-calls volledig asynchroon. Hierdoor wordt het LLM ontlast van taken zoals polling, heartbeats en wachttijden, wat resulteert in een lagere 'token tax'.
- Gebruikersinteractie: Omdat tool-calls op de achtergrond draaien, kunnen gebruikers de agent direct blijven aansturen zonder te hoeven wachten op de voltooiing van een taak.
- Efficiëntie: Door minder model-beurten (turns) en een minimale harness-footprint te gebruiken, worden de kosten per taak aanzienlijk verlaagd.
Benchmarks en Resultaten:
In diverse tests (waaronder Terminal-Bench 4.0, SWE-Atlas en DeepSWE 1.1) behaalt Unreal Agent kostenbesparingen tot 40% ten opzichte van Codex en 20% ten opzichte van Pi, terwijl de pass-percentages (de nauwkeurigheid) concurrerend blijven.
Implementatie:
De Unreal Agent SDK is beschikbaar via GitHub en biedt een Go-bibliotheek, een Runner-executable en een Benchmark-runner.
Unreal Agent — Unreal Labs
Wij presenteren Unreal Agent — een agent-harness die tot 40% kostenbesparing oplevert vergeleken met Codex voor productie-workloads en coding/science-benchmarks, zonder negatieve impact op de prestaties.
Bent u geïnteresseerd in maximale kostenefficiëntie voor uw AI-agents? We werken graag met u samen! Neem contact op via: contact@unreallabs.ai.
Bij het implementeren van agents in de praktijk wilden we dat ze snel reageerden op gebruikers en kostenefficiënt waren om te draaien. We merkten dat agents veel tijd en tokens besteden aan het beheren van tool-calls, wat ons motiveerde om Unreal Agent te bouwen met een harness die de overhead voor tool-beheer van het model zou verminderen.
De Unreal Agent-harness beheert tool-calls volledig asynchroon, waardoor het onderliggende model wordt ontlast van de noodzaak om wachttijden, polling en heartbeats voor tools te beheren.
Deze aanpak levert twee grote voordelen op:
- Het stelt gebruikers altijd in staat de agent te sturen zonder te hoeven wachten tot tool-calls zijn voltooid.
- Het stelt de agent in staat om meer nuttig werk met tool-calls in te plannen tussen model-calls, wat leidt tot maximale kostenefficiëntie.
De huidige versie behaalt tot 40% kostenbesparing vergeleken met Codex en tot 20% vergeleken met Pi in echte workloads en in agentic-benchmarks, die we hier delen. Wij geloven dat harness-ontwerp op zichzelf een onderzoeksgebied is, met veel veelbelovende ideeën die nog onderzocht en geïmplementeerd moeten worden.[1]
Motivatie en Architectuur
Wie een product bouwt dat primair op agents is gebaseerd, merkt snel dat er geen 'golden path' is voor de implementatie. Grote leveranciers bieden verschillende SDK's aan om agents te bouwen, elk met een eigen set afwegingen die mogelijk niet direct duidelijk zijn.
Bij Unreal Labs hebben we een aantal agentic-producten gebouwd en onderweg veel geleerd over populaire SDK's.
Bijvoorbeeld: CLI-georiënteerde SDK's, zoals de Agent SDK van Claude, gaan uit van lokale sessies, subprocessen en resource-limieten die niet eenvoudig te vertalen zijn naar productiegebruik. Het betrouwbaar afhandelen van voltooiing, annulering en achtergrondtaken betekent vaak dat u uw eigen lifecycle-management eromheen moet bouwen.
Het ondersteunen van andere providers zorgt voor extra compatibiliteitswerk: het wijzigen van API-modi kan tools of compactie verbreken, terwijl SDK-upgrades berichtformaten kunnen veranderen en integraties kunnen dwingen tot herschrijven. Zware dependency-trees voegen onderhouds- en supply-chain-risico's toe aan een runtime die we toch al zelf moeten begrijpen en patchen.
Beveiliging en goedkeuringen die vertrouwen op harness-hooks en gespecialiseerde tools, vereisen naar onze ervaring meer onderhoud en zijn minder robuust dan deterministische omgevings- of sandbox-beperkingen buiten de harness: toegestane/niet-toegestane hosts, granulaire toegangstokens en proxies met goedkeuringspoorten.
Naast deze technische motivaties wilden we een harness bouwen die altijd direct stuurberichten van gebruikers kan accepteren en verschillende soorten tool-calls kan beheren zonder extra cognitieve belasting voor het model. We wilden bijvoorbeeld dat de agent een instelling van een ontwikkelomgeving kan starten (wat minuten kan duren), terwijl hij parallel aan de codebase zoekt en het web doorzoekt, alles zonder extra 'token tax'.
Elke keer dat Unreal Agent een tool-call uitvoert, voegen we onmiddellijk een event-log record toe dat de tool is teruggekeerd in de status "in-progress", terwijl de uitvoering op de achtergrond doorgaat. Zodra een tool daadwerkelijk klaar is, voegen we het resultaat toe aan de sessielog en roepen we een LLM aan. Om dit werkend te krijgen zonder de cache te breken, was op zichzelf al een interessante engineering-uitdaging.[2]
(Bekijk de animatie)
Kostenefficiëntie
Oppervlakkig gezien behaalt Unreal Agent dezelfde resultaten met minder model-beurten (turns) en minder input-tokens. We schrijven de kostenbesparingen toe aan twee factoren:
- Minimale harness-footprint en zorgvuldige engineering van het gebruik van tool-output: Unreal Agent maakt gebruik van eenvoudige prompts, token-geoptimaliseerde tool-resultaten en heeft geen sub-agents of workflows.[3]
- Meer tool-werk per model-beurt: Unreal Agent heeft een eenvoudig asynchroon model voor tool-calls dat duidelijk aan een LLM wordt uitgelegd. Hierdoor kan het meer zware tool-calls per model-beurt uitvoeren zonder tokens te verspillen aan polling of het wachten daarop.
Benchmarks
We hebben Unreal Agent gebouwd voor onze eigen productie-workflows, maar het presteert ook goed in benchmarks. We hebben het getest met GPT-6 Astra xhigh en vergeleken met Codex en Pi. Hier zijn enkele van de resultaten.
Er zijn marginale verschillen in het pass-percentage, wat we toeschrijven aan variantie in de benchmarks.
Terminal-Bench 4.0
GPT-6 Astra · xhigh. Codex (lb) is de leaderboard baseline; Unreal Agent en Pi runs zijn hieronder gekoppeld.
| Agent | Ratio | Totaal $ | In/test | Uit/test | Beurten | Tools | Harbor |
|---|
| unreal-agent | 57.9% | 1428 | 1.73M | 32k | 28 | 37 | 27133053 |
| Codex (leaderboard) | 57.9% | 2350 | — | — | — | — | — |
| Pi | 55.0% | 1827 | 2.83M | 35k | 44 | 57 | 6ccd097a |
SWE-Atlas Codebase QnA
| Agent | Ratio | Totaal $ | In/test | Uit/test | Beurten | Tools | Harbor |
|---|
| unreal-agent | 65.8% | 936 | 898k | 15k | 16 | 27 | 3d2fa057 |
| Codex | 63.3% | 1303 | 1.69M | 17k | 22 | 21 | 11a440fb |
| Pi | 64.0% | 1033 | 1.29M | 16k | 24 | 60 | da4ac972 |
DeepSWE 1.1
| Agent | Ratio | Totaal $ | In/test | Uit/test | Beurten | Tools | Harbor |
|---|
| unreal-agent | 72.4% | 1367 | 1.60M | 28k | 26 | 38 | 2311ca63 |
| Codex | 69.0% | 1633 | 2.19M | 30k | 30 | 29 | e20ecafd |
| Pi | 69.6% | 1584 | 2.21M | 30k | 40 | 75 | cd7d8de6 |
Agents’ Last Exam · ALE-CLI
Volledige pass-percentages en gemiddelde scores staan hieronder. Deze runs zijn niet op Harbor.
| Agent | Full pass | Gem. score | Totaal $ | In/taak | Uit/taak | Beurten | Tools |
|---|
| unreal-agent | 30.0% | 59.7 | 217 | 0.76M | 18k | 18 | 23 |
| Codex | 29.0% | 58.1 | 292 | 1.59M | 15k | — | 21 |
| Pi | 29.0% | 59.2 | 262 | 1.19M | 19k | 27 | 37 |
We voeren voornamelijk coding-benchmarks uit omdat deze beschikbaar zijn op Harbor, wat reproductie en verificatie makkelijker maakt, maar de harness is domein-agnostisch.
Aan de slag met Unreal Agent
De Unreal Agent SDK biedt momenteel:
- Een Go-bibliotheek die u direct in uw codebase kunt integreren.
- Een Runner-executable, vergelijkbaar met
claude -p / codex exec.
- Een Benchmark-runner die compatibel is met Harbor.
Bezoek onze GitHub-repo als u het zelf wilt proberen.
Referenties
[1] Melissa Z. Pan, Shuo Yang, Negar Arabzadeh, Wei-Lin Chiang, Ion Stoica, and Matei Zaharia. “HarnessTax: How Much Does Harness Matter for Coding Agents?” 2026.
[2] Het gebruik van twee tool-call resultaat-items (één in uitvoering, één definitief) in een enkele context is onvoldoende gespecificeerd in de Responses API-documentatie. Tijdens het testen stuitten we op afwijzingen bij sommige modellen bij bepaalde inference-providers (niet OpenAI), waarbij het functioncalloutput statusveld geen invloed leek te hebben. Onze tests toonden aan dat modellen de progressie van een lopende update naar een definitief resultaat kunnen begrijpen wanneer het conversieformaat wordt geaccepteerd. Wij geloven dat dit patroon expliciet ondersteund zou moeten worden door de Responses API en consistent ondersteund zou moeten worden over verschillende inference-providers.
[3] Diogo. “(KV) Cache Rules Everything Around Me.” Complete Skeptic, 9 september 2026.
Unreal Agent — Unreal Labs
Wij presenteren Unreal Agent — een agent-harness die tot 40% kostenbesparing oplevert vergeleken met Codex voor productie-workloads en coding/science-benchmarks, zonder negatieve impact op de prestaties.
Bent u geïnteresseerd in maximale kostenefficiëntie voor uw AI-agents? We werken graag met u samen! Neem contact op via: contact@unreallabs.ai.
Bij het implementeren van agents in de praktijk wilden we dat ze snel reageerden op gebruikers en kostenefficiënt waren om te draaien. We merkten dat agents veel tijd en tokens besteden aan het beheren van tool-calls, wat ons motiveerde om Unreal Agent te bouwen met een harness die de overhead voor tool-beheer van het model zou verminderen.
De Unreal Agent-harness beheert tool-calls volledig asynchroon, waardoor het onderliggende model wordt ontlast van de noodzaak om wachttijden, polling en heartbeats voor tools te beheren.
Deze aanpak levert twee grote voordelen op:
- Het stelt gebruikers altijd in staat de agent te sturen zonder te hoeven wachten tot tool-calls zijn voltooid.
- Het stelt de agent in staat om meer nuttig werk met tool-calls in te plannen tussen model-calls, wat leidt tot maximale kostenefficiëntie.
De huidige versie behaalt tot 40% kostenbesparing vergeleken met Codex en tot 20% vergeleken met Pi in echte workloads en in agentic-benchmarks, die we hier delen. Wij geloven dat harness-ontwerp op zichzelf een onderzoeksgebied is, met veel veelbelovende ideeën die nog onderzocht en geïmplementeerd moeten worden.[1]
Motivatie en Architectuur
Wie een product bouwt dat primair op agents is gebaseerd, merkt snel dat er geen 'golden path' is voor de implementatie. Grote leveranciers bieden verschillende SDK's aan om agents te bouwen, elk met een eigen set afwegingen die mogelijk niet direct duidelijk zijn.
Bij Unreal Labs hebben we een aantal agentic-producten gebouwd en onderweg veel geleerd over populaire SDK's.
Bijvoorbeeld: CLI-georiënteerde SDK's, zoals de Agent SDK van Claude, gaan uit van lokale sessies, subprocessen en resource-limieten die niet eenvoudig te vertalen zijn naar productiegebruik. Het betrouwbaar afhandelen van voltooiing, annulering en achtergrondtaken betekent vaak dat u uw eigen lifecycle-management eromheen moet bouwen.
Het ondersteunen van andere providers zorgt voor extra compatibiliteitswerk: het wijzigen van API-modi kan tools of compactie verbreken, terwijl SDK-upgrades berichtformaten kunnen veranderen en integraties kunnen dwingen tot herschrijven. Zware dependency-trees voegen onderhouds- en supply-chain-risico's toe aan een runtime die we toch al zelf moeten begrijpen en patchen.
Beveiliging en goedkeuringen die vertrouwen op harness-hooks en gespecialiseerde tools, vereisen naar onze ervaring meer onderhoud en zijn minder robuust dan deterministische omgevings- of sandbox-beperkingen buiten de harness: toegestane/niet-toegestane hosts, granulaire toegangstokens en proxies met goedkeuringspoorten.
Naast deze technische motivaties wilden we een harness bouwen die altijd direct stuurberichten van gebruikers kan accepteren en verschillende soorten tool-calls kan beheren zonder extra cognitieve belasting voor het model. We wilden bijvoorbeeld dat de agent een instelling van een ontwikkelomgeving kan starten (wat minuten kan duren), terwijl hij parallel aan de codebase zoekt en het web doorzoekt, alles zonder extra 'token tax'.
Elke keer dat Unreal Agent een tool-call uitvoert, voegen we onmiddellijk een event-log record toe dat de tool is teruggekeerd in de status "in-progress", terwijl de uitvoering op de achtergrond doorgaat. Zodra een tool daadwerkelijk klaar is, voegen we het resultaat toe aan de sessielog en roepen we een LLM aan. Om dit werkend te krijgen zonder de cache te breken, was op zichzelf al een interessante engineering-uitdaging.[2]
(Bekijk de animatie)
Kostenefficiëntie
Oppervlakkig gezien behaalt Unreal Agent dezelfde resultaten met minder model-beurten (turns) en minder input-tokens. We schrijven de kostenbesparingen toe aan twee factoren:
- Minimale harness-footprint en zorgvuldige engineering van het gebruik van tool-output: Unreal Agent maakt gebruik van eenvoudige prompts, token-geoptimaliseerde tool-resultaten en heeft geen sub-agents of workflows.[3]
- Meer tool-werk per model-beurt: Unreal Agent heeft een eenvoudig asynchroon model voor tool-calls dat duidelijk aan een LLM wordt uitgelegd. Hierdoor kan het meer zware tool-calls per model-beurt uitvoeren zonder tokens te verspillen aan polling of het wachten daarop.
Benchmarks
We hebben Unreal Agent gebouwd voor onze eigen productie-workflows, maar het presteert ook goed in benchmarks. We hebben het getest met GPT-6 Astra xhigh en vergeleken met Codex en Pi. Hier zijn enkele van de resultaten.
Er zijn marginale verschillen in het pass-percentage, wat we toeschrijven aan variantie in de benchmarks.
Terminal-Bench 4.0
GPT-6 Astra · xhigh. Codex (lb) is de leaderboard baseline; Unreal Agent en Pi runs zijn hieronder gekoppeld.
| Agent | Ratio | Totaal $ | In/test | Uit/test | Beurten | Tools | Harbor |
|---|
| unreal-agent | 57.9% | 1428 | 1.73M | 32k | 28 | 37 | 27133053 |
| Codex (leaderboard) | 57.9% | 2350 | — | — | — | — | — |
| Pi | 55.0% | 1827 | 2.83M | 35k | 44 | 57 | 6ccd097a |
SWE-Atlas Codebase QnA
| Agent | Ratio | Totaal $ | In/test | Uit/test | Beurten | Tools | Harbor |
|---|
| unreal-agent | 65.8% | 936 | 898k | 15k | 16 | 27 | 3d2fa057 |
| Codex | 63.3% | 1303 | 1.69M | 17k | 22 | 21 | 11a440fb |
| Pi | 64.0% | 1033 | 1.29M | 16k | 24 | 60 | da4ac972 |
DeepSWE 1.1
| Agent | Ratio | Totaal $ | In/test | Uit/test | Beurten | Tools | Harbor |
|---|
| unreal-agent | 72.4% | 1367 | 1.60M | 28k | 26 | 38 | 2311ca63 |
| Codex | 69.0% | 1633 | 2.19M | 30k | 30 | 29 | e20ecafd |
| Pi | 69.6% | 1584 | 2.21M | 30k | 40 | 75 | cd7d8de6 |
Agents’ Last Exam · ALE-CLI
Volledige pass-percentages en gemiddelde scores staan hieronder. Deze runs zijn niet op Harbor.
| Agent | Full pass | Gem. score | Totaal $ | In/taak | Uit/taak | Beurten | Tools |
|---|
| unreal-agent | 30.0% | 59.7 | 217 | 0.76M | 18k | 18 | 23 |
| Codex | 29.0% | 58.1 | 292 | 1.59M | 15k | — | 21 |
| Pi | 29.0% | 59.2 | 262 | 1.19M | 19k | 27 | 37 |
We voeren voornamelijk coding-benchmarks uit omdat deze beschikbaar zijn op Harbor, wat reproductie en verificatie makkelijker maakt, maar de harness is domein-agnostisch.
Aan de slag met Unreal Agent
De Unreal Agent SDK biedt momenteel:
- Een Go-bibliotheek die u direct in uw codebase kunt integreren.
- Een Runner-executable, vergelijkbaar met
claude -p / codex exec.
- Een Benchmark-runner die compatibel is met Harbor.
Bezoek onze GitHub-repo als u het zelf wilt proberen.
Referenties
[1] Melissa Z. Pan, Shuo Yang, Negar Arabzadeh, Wei-Lin Chiang, Ion Stoica, and Matei Zaharia. “HarnessTax: How Much Does Harness Matter for Coding Agents?” 2026.
[2] Het gebruik van twee tool-call resultaat-items (één in uitvoering, één definitief) in een enkele context is onvoldoende gespecificeerd in de Responses API-documentatie. Tijdens het testen stuitten we op afwijzingen bij sommige modellen bij bepaalde inference-providers (niet OpenAI), waarbij het functioncalloutput statusveld geen invloed leek te hebben. Onze tests toonden aan dat modellen de progressie van een lopende update naar een definitief resultaat kunnen begrijpen wanneer het conversieformaat wordt geaccepteerd. Wij geloven dat dit patroon expliciet ondersteund zou moeten worden door de Responses API en consistent ondersteund zou moeten worden over verschillende inference-providers.
[3] Diogo. “(KV) Cache Rules Everything Around Me.” Complete Skeptic, 9 september 2026.
Groetjes,