MASS: Recursieve Zelfverbetering via Multi-Agent Zelfsupervisie

Om verder te gaan dan de opgestapelde menselijke kennis, kan AI zelf (het te optimaliseren model, of optimizee) mogelijk de beste beschikbare optimizer en evaluator zijn. MASS optimaliseert herhaaldelijk multi-agent workflows, distilleert vervolgens collectieve intelligentie uit multi-agent systemen en gebruikt dit als een zelfsupervisiesignaal voor recursieve zelfverbetering (RSI). Het verbetert de score per output-token ten opzichte van het basismodel op research-benchmarks. We hopen dat MASS bijdraagt aan het 'Odysseïsche moment' van AI: voortdurend zelflerend vermogen in een setting waarin het te optimaliseren model de evaluator is, en de optimizer het te optimaliseren model zelf is.

Auteurs: Hyunin Lee†, Jinglue Xu, Jeffrey Seely, Donghyun Lee, Somayeh Sojoudi, Matei Zaharia, Yujin Tang. † Werk uitgevoerd tijdens een stage bij Sakana AI.

Gepubliceerd: oktober 2026

---

Bijschrift bij Figuur 1: Van gedeeld werk naar gedeelde kennis. Deze gravure toont zetwerk, drukwerk en correctie als delen van een gecoördineerd proces. Boeken brengen het resultaat buiten het atelier, waar anderen ervan kunnen leren en erop kunnen voortbouwen. MASS maakt gebruik van een vergelijkbaar idee: het collectieve werk van een team kan trainingsvoorbeelden leveren voor het model dat de teamleden delen. (Jan Collaert I, naar Stradanus, The Invention of Book Printing, ca. 1600. The Metropolitan Museum of Art, Harris Brisbane Dick Fund, 1934. Publiek domein (CC0).)

---

We willen dat geavanceerde AI-modellen ons verder brengen dan de hoeveelheid kennis die de mensheid over generaties heen heeft opgebouwd. Op die grens kunnen zelfs menselijke experts moeite hebben om resultaten te beoordelen en verdere progressie te sturen, met name bij niet-verificeerbare taken.

Bijvoorbeeld: het evalueren van een voorgestelde ontdekking kan schaarse expertise, kostig bewijs of experimenten vereisen die veel langer duren dan het genereren van het voorstel zelf. Het model is dan onvermijdelijk de meest capabele supervisor die beschikbaar is en moet zelf uitzoeken hoe het kan verbeteren.

Dit motiveert homogene recursieve zelfverbetering (RSI), waarbij het model dat wordt verbeterd (optimizee) ook dient als zijn eigen optimizer en evaluator. De centrale vraag is hoe nuttige zelfsupervisie kan worden verkregen binnen deze homogene lus.

Menselijke samenlevingen bieden een nuttige analogie. Van verzamelgemeenschappen en boerennederzettingen tot industriële samenlevingen en wereldwijde informatienetwerken: mensen hebben hun mogelijkheden uitgebreid door werk te verdelen, ideeën te combineren en door te geven wat ze leren. Collectieve prestaties worden een startpunt voor verder leren. In The Structure of Scientific Revolutions benadrukte Thomas Kuhn de gedeelde voorbeelden via welke wetenschappers leren problemen te herkennen en op te lossen. De prestaties van een wetenschappelijke gemeenschap worden zo onderdeel van hoe haar leden leren nieuw werk te verrichten.

Geïnspireerd door dit patroon vragen we ons af of een model kan leren van de collectieve intelligentie van zijn eigen team, iets wat een agent die alleen werkt mogelijk niet betrouwbaar vertoont.

We introduceren Multi-Agent Self-Supervision (MASS) om dit idee om te zetten in een leerlus. MASS gebruikt hetzelfde model als uitvoerder (executor), optimizer en evaluator. De optimizer zoekt eerst naar de beste teamworkflow op basis van feedback van de evaluator, en traint vervolgens de uitvoerder op basis van executies van het (door het model zelf beoordeelde) beste team. Het bijgewerkte model vult vervolgens opnieuw alle drie de rollen in, waarna het proces zich herhaalt. MASS biedt zo een zelfsupervisiesignaal voor RSI door de collectieve ervaring van het team te distilleren in het gedeelde model.

Homogene Recursieve Zelfverbetering (RSI)

We bestuderen homogene RSI, waarbij één gedeeld taalmodel de volgende rollen vervult:

• Agent (Uitvoerder): De taakoplosser, of optimizee. Produceert een werkruimte (workspace) met resultaten, plots en een onderzoeksrapport.
• Workflow-optimizer: Gebruikt de feedback van de evaluator om te herzien hoe agenten de taak verdelen, resultaten uitwisselen en elkaars werk controleren.
• Evaluator: Vergelijkt twee werkruimtes, kiest welke de taak beter vervult en legt het oordeel uit.

We gebruiken niet-verificeerbare researchtaken als trainingsdata. Met 'niet-verificeerbaar' bedoelen we dat er geen automatisch op regels gebaseerd signaal beschikbaar is en dat alleen een zelfevaluatiesignaal (waarvan de correctheid onbekend is) de algehele leerlus stuurt.

Om progressie te meten, vragen we GPT-5.5 en Claude Opus 4.8 apart om het voltooide werk te beoordelen. Hun oordelen worden verborgen gehouden voor MASS. Dit geeft ons een externe maatstaf voor verbetering in een proces waarvan de supervisie vanuit het model zelf komt.

Hoe MASS werkt

MASS gebruikt workflow-optimalisatie om collectieve intelligentie op te wekken, en distilleert vervolgens de ervaring van het team in het gedeelde model.

De Binnenlus: Het evolueren van het team

De binnenlus optimaliseert de workflow van het team terwijl de modelgewichten vast blijven. Het model evalueert en bepaalt zelf welke workflow optimaal is.

De Buitenlus: Leren van het werk van het team

De buitenlus werkt de gewichten bij door te leren van executies van de geoptimaliseerde workflow.

(Verwijzing naar Figuur 2: MASS. Workflow-zoekopdrachten veranderen hoe agenten coördineren. Training op geselecteerde executies brengt hun ervaring over in de gedeelde gewichten. Het bijgewerkte model neemt vervolgens alle drie de rollen weer op zich.)

0. Setup: Workflow als prompt

Een workflow is een geschreven plan voor hoe een multi-agent team moet samenwerken. De orchestrator wijst werk toe aan subagenten en integreert hun resultaten. Het plan wordt toegevoegd aan de taakprompt. Een workflow bestaat uit vier componenten:

• Rol: De verantwoordelijkheid die aan elke subagent is toegewezen (bijv. het voorbereiden van data).
• Instructie: Het werk dat de subagent moet uitvoeren.
• Contract: De informatie en artefacten die teruggegeven moeten worden, inclusief vereiste controles.
• Hop: De volgorde van subagent-aanroepen, inclusief eventuele terugkeer naar een eerdere stap.

Voorbeeld: Geëvolueerde finance-workflow (vereenvoudigd)

• Aanroepvolgorde: Data → Features → Modeling → Backtest → Audit → Reconciliation → Report
• Output-contract van de dataspecialist:
• validation_report:
• nofutureleakage: bool
• trainendbeforevalstart: bool
• valendbeforeteststart: bool

Een backtest kan overtuigend lijken als historische beslissingen informatie uit de toekomst mogen gebruiken. Dit contract vereist dat de dataspecialist controleert op deze fout en rapporteert of de tijdssplitsingen geldig zijn.

1. Binnenlus: Zoeken naar een betere workflow

Voor elke trainingstaak behoudt MASS een 'champion': de beste workflow die tot nu toe is gevonden volgens de oordelen van het huidige model. Elke iteratie bestaat uit drie stappen:

1. Uitvoeren: Het team volgt de kandidaat-workflow en produceert een werkruimte.
2. Evalueren: De evaluator vergelijkt deze werkruimte met die van de champion en legt uit welke beter is. Een winnende kandidaat wordt de nieuwe champion.
3. Herzien: De optimizer gebruikt de feedbackgeschiedenis om de volgende workflow voor te stellen.

De systeemprompt van de optimizer legt de nadruk op contracten en 'hops', waardoor de zoektocht naar workflows wordt gericht op welke informatie agenten uitwisselen en wanneer ze deze ontvangen.

2. Buitenlus: Leren van het geselecteerde team

Zelfs met een geoptimaliseerde workflow kan de kwaliteit van langdurig onderzoekswerk variëren per run. MASS voert daarom zelfbeoordeelde optimale workflows (of champion-workflows) uit met meerdere willekeurige seeds en gebruikt het huidige model om de resulterende werkruimtes te rangschikken.

1. Voer de champion-workflow 18 keer uit voor elke taak.
2. Gebruik het huidige model om de resulterende werkruimtes te vergelijken en te rangschikken (een Bradley–Terry-model zet paarsgewijze voorkeuren om in een score per werkruimte).
3. Bewaar maximaal 16 trajecten per taak: 15 voor training en één voor validatie.
4. Verwijder de workflow-tekst uit de initiële prompt van de orchestrator bij het construeren van de trainingvoorbeelden.
5. Fine-tune het gedeelde model met LoRA op zowel de gesprekken van de orchestrator als die van de subagenten.

Door de workflow uit de trainingsprompt van de orchestrator te verwijderen, wordt het model aangemoedigd om te leren hoe het het werk vanuit de taak zelf moet organiseren.

Resultaten

We hebben twee volledige ronden van MASS uitgevoerd, beginnend met Qwen3.6-27B in de qwen-code coding-agent omgeving. Onze synthetische research-suite bevat 12 taken in finance, robotica en farmacie.

We vergelijken drie generaties: het basismodel $\mathcal{L}^{(0)}$, het model na de eerste ronde $\mathcal{L}^{(1)}$, en het model na de tweede ronde $\mathcal{L}^{(2)}$.

Betere taakprestaties

Op de drie synthetische testtaken stijgt de winrate ten opzichte van het basismodel van 53,9% na één ronde naar 69,9% na twee ronden (Tabel 1).

Tabel 1: Synthetische taakprestaties (Externe winrates)

Om transfer buiten de synthetische suite te testen, evalueerden we publieke benchmarks. Na twee ronden bereikt de score per output-token 1,2–1,6× het niveau van het basismodel op MLR-Bench, DSBench, ScienceAgentBench en AstaBench (Figuur 3).

De winst is het sterkst op vier research-benchmarks die lijken op de trainingstaken. Op Terminal-Bench 2.0 (0,96×) en SWE-bench Verified (0,94×) is de score lager dan het basismodel, wat aantoont dat transfer ongelijk blijft.

Observatie 1: Rolgeneralisatie in RSI

We observeren dat MASS rolgeneralisatie in RSI mogelijk maakt. We trainen het model alleen op trajecten van taakoplossing, maar zien dat de capaciteiten van de workflow-optimizer en de werkruimte-evaluator ook verbeteren. Dit maakt de RSI-lus duurzaam.

Figuur 4 laat zien dat de optimizer succesvolle workflows sneller vindt naarmate de cyclus vordert. Voor een eerlijke vergelijking gaven we de workflows van de eerste ronde aan het basismodel (Tabel 2).

Tabel 2: Workflow transfer

De evaluator komt ook dichter bij de oordelen van sterke externe model-judges; de overeenstemming stijgt van 73% naar 93% over de drie cycli.

Ablatie 1: Optimale workflow maximaliseert informatiestroom

Wat maakt een optimale multi-agent workflow effectief? We analyseerden hoeveel tekst in de componenten van de champion-workflows onthult over de taak.

Figuur 5 laat zien dat tussen de eerste en laatste iteraties van workflow-optimalisatie, een optimale workflow taakinformatie sterker codeert in contracten en hops, en minder in rollen en instructies. Dit suggereert dat de LLM-optimizer de workflow-componenten evolueert om wederzijds onafhankelijk te zijn, maar de informatiestroom optimaliseert via contracten en hops.

Observatie 2: Multi-agent trajecten bieden een dicht RSI-signaal

We observeren dat trajecten van multi-agent systemen effectiever kunnen zijn dan trajecten van enkele agenten in RSI. De orchestrator leert hoe een brede taak moet worden verdeeld, terwijl de subagenten leren hoe een individuele opdracht moet worden uitgevoerd.

In Figuur 6 zien we dat multi-agent studenten (M+) een hogere winrate behalen tegen het basismodel (68,3% na 28,8M tokens) dan single-agent studenten (S++: 64,0% na 42M tokens). MASS behaalt dus een hogere score met 31% minder supervised tokens. Dit suggereert dat multi-agent trajecten een dichter leersignaal bieden dan single-agent trajecten.

Observatie 3: De RSI-bottleneck kan de optimizer zijn, niet de evaluator

We merkten dat de bottleneck in RSI vaak de optimizer is. We vervingen het basismodel als evaluator door een sterker extern model (GPT-5.5).

Figuur 7 laat zien dat het upgraden van alleen de evaluator een beetje helpt, maar het upgraden van zowel de evaluator als de optimizer enorm helpt. De volledig homogene lus vindt uiteindelijk ook voor 11 van de 12 taken winnende workflows, maar het duurt langer. Onze interpretatie is dat een sterke evaluator weliswaar kwalitatieve feedback geeft, maar dat een zwakke optimizer niet capabel genoeg is om deze te verwerken.

Figuur 8 laat bovendien zien dat workflow-zoekopdrachten 'ruis' bevatten; prestaties kunnen plotseling terugvallen. Dit suggereert dat de LLM-optimizer een equivalent van een learning-rate scheduler nodig heeft om de zoektocht in tekstruimte te stabiliseren.

Conclusie

In het gedicht Ulysses van Tennyson stelt Odysseus zich een nieuwe reis voor in het streven naar kennis "voorbij de uiterste grens van het menselijk denken". Voor AI stellen we ons een 'Odysseïsch moment' voor waarin voortdurend leren moet plaatsvinden zonder een sterkere supervisor.

De uitdaging is wie het verdere leren kan superviseren en hoe progressie beoordeeld moet worden. Menselijke experts kunnen een doel formuleren zonder een objectieffunctie te specificeren die dit volledig vangt (bijv. bij schrijven: experts herkennen goede teksten, maar kunnen dit niet altijd in een rubric vatten).

Voor RSI is de onderzoeksvraag hoe AI onvolledige menselijke begeleiding kan omzetten in nuttige criteria voor leren, en hoe getest kan worden of die criteria het beoogde doel blijven vangen naarmate de capaciteiten groeien. Dit is extra uitdagend wanneer het model dat wordt verbeterd ook zijn eigen optimizer en evaluator is.

Het openhouden van de zelfevaluatie voor correctie is essentieel voor de veiligheid. In een homogene lus zou een gedeelde 'blinde vlek' kunnen leiden tot een foutief resultaat dat als verbetering wordt geaccepteerd en in het volgende model wordt opgenomen. Als mensen deze fout ook niet herkennen, kunnen opeenvolgende updates deze versterken.

In die zin kunnen gedeelde blinde vlekken de achilleshiel van recursieve zelfverbetering zijn. Het begrijpen hiervan is cruciaal voor het beheersen van capabelere systemen. Het identificeren van een zwakte alleen is niet genoeg; we moeten ook aantonen dat we de consequenties ervan kunnen detecteren en effectief kunnen interveniëren naarmate het systeem verandert.

---

Citatie

@misc{lee2026mass,
title         = {Recursive Self-Improvement through Multi-Agent Self-Supervision},
author        = {Lee, Hyunin and Xu, Jinglue and Seely, Jeffrey and Lee, Donghyun and Sojoudi, Somayeh and Zaharia, Matei and Tang, Yujin},
year          = {2026},
eprint        = {2610.12176},
archivePrefix = {arXiv},
primaryClass  = {cs.AI},
url           = {https://arxiv.org/abs/2610.12176}
}