AlphaNIST is een benadering voor precisie-robotmontage die gebruikmaakt van reinforcement learning om een end-to-end policy te trainen. In plaats van menselijke demonstraties of voorgeschreven fasen, leert de robot via simulaties en binaire taakbeloningen hoe hij complexe taken op het NIST Assembly Task Board #1 moet voltooien.
De kern van de methode is het bieden van ruimte voor creativiteit door de robot zelf oplossingen te laten ontdekken. Dit wordt ondersteund door:
- Diversiteit in ervaring: Training over twintig verschillende assemblages met diverse begintoestanden.
- Success-guided sampling (SGS): Een methode waarbij de focus van de training verschuift naar toestanden die de robot ongeveer de helft van de tijd oplost.
Uit experimenten blijkt dat één algemene policy die over alle taken is getraind, effectiever is dan twintig individuele specialisten. Bovendien vertoont de robot 'emergent gedrag', waarbij hij creatieve fysieke tactieken ontwikkelt—zoals het gebruiken van het montagebord om onderdelen te draaien—om nauwe toleranties te overwinnen.
AlphaNIST
AlphaNIST brengt deze filosofie naar contactrijke, precisie-robotmontage in simulatie. Een end-to-end policy leert hoe de taak voltooid moet worden, zonder voorgeschreven manipulatiefasen.
De uitdaging van montage
Het NIST Assembly Task Board #1 bevat twintig montagetaken, met onderdelen van slechts 4 mm. Het plaatsen van één onderdeel kan meerdere wijzigingen in greep en oriëntatie vereisen. Nauwe toleranties laten weinig ruimte voor fouten: een scheefgeplaatste moer kan klemmen of scheefdraaien.
Bij assemblages met meerdere onderdelen moet de robot daarnaast een volgorde bepalen. Een reeds geïnstalleerd component kan namelijk de volgende beweging van de grijper blokkeren.
Ruimte voor creativiteit
Het proberen voor te schrijven van elke manoeuvre betekent dat men moet anticiperen op hoe de robot moet reageren wanneer contacten en obstructies veranderen. Een grijper met twee vingers heeft bovendien mogelijk oplossingen nodig die heel anders zijn dan oplossingen die natuurlijk aanvoelen voor een menselijke hand.
Het antwoord is wellicht om te stoppen met vertellen hoe wij denken dat de taak uitgevoerd moet worden, en de robot in plaats daarvan te laten leren hoe hij het doel bereikt. Door een binaire taakbeloning (binary task reward) voor succes te geven en te trainen via enorme hoeveelheden diverse ervaringen, krijgt de robot de ruimte om oplossingen te ontdekken die we zelf wellicht nooit hadden bedacht om aan te leren.
Hoe de robot leert
Diversiteit in ervaring: heterogene activa en begintoestanden
Eén policy wordt getraind over twintig heterogene assemblages. De training start vanuit losse onderdelen, grepen in de hand en gedeeltelijke assemblages die zijn gecached in de simulatie.
Startsituaties die bijna voltooid zijn, stellen de robot in staat om te oefenen met het afronden van een assemblage voordat hij de volledige taak kan oplossen. De cache levert begintoestanden, geen demonstraties.
Success-guided sampling (SGS)
Beta sampling geeft de voorkeur aan begintoestanden die de policy ongeveer de helft van de tijd oplost, terwijl elke toestand een kans behoudt. Vooruitgang bij één toestand kan een andere toestand oplosbaar maken; het wegingsgewicht voor sampling verandert vervolgens op basis van de nieuwe resultaten. Naarmate de policy leert, ontvangen de verschillende begintoestanden verschillende hoeveelheden oefening.
Experiment met montage van enkelvoudige componenten
In dit experiment voert één policy alle twintig montagetaken uit, waarbij in elke run één component wordt gemonteerd:
- Tandwielen
- Moeren
- Staven
- Pennen
- Connectoren
Bij het gebruik van binaire taakbeloningen behaalt één policy die over alle twintig taken is getraind een hoger trainingssucces dan twintig afzonderlijke specialisten. Het toevoegen van beloningen voor het bereiken en uitlijnen van onderdelen verminderde het succes in dit experiment.
Emergent montagegedrag
Tijdens het leerproces ontstonden de volgende specifieke gedragingen:
- De grijper legt de 8 mm pen neer en pakt deze aan één uiteinde op, waardoor een groter deel van de pen vrijkomt voor insertie.
- De grijper gebruikt contact met het bord om de waterdichte connector te draaien voordat deze wordt ingevoegd.
- De D-sub connector wordt neergelegd en opnieuw gegrepen om deze uit te lijnen met de socket.
- Het middelste tandwiel, vastgehouden aan de zijkant, draait in een horizontale positie boven zijn montagepaal.
- De grijper rolt de M12-moer vanaf de rand naar een vlakke zijde voordat deze op de bout wordt geplaatst.
- Eenzijdige tikjes met de vingertop draaien de M4-moer langs de bout.
- Een vingertop duwt de 8 mm staaf over het oppervlak voordat de grijper deze oppakt.
- De grijper beweegt rond de M16-moer en gebruikt contact met de vingertoppen om deze langs de bout te draaien.
Bronvermelding
@misc{zhang2026alphanistemergentassemblyskills,
title={AlphaNIST: Emergent Assembly Skills from Binary Task Rewards},
author={Octi Zhang and Iretiayo Akinola and Rosario Scalise and
Mateo Guaman Castro and Patrick Yin and Tobias Widmer and
Miles Macklin and Chris Amevor and Dylan Turpin and
Dirk Van Gelder and Jan Carius and Ankur Handa and
Gavriel State and Yunrong Guo and Yashraj Narang},
year={2026},
eprint={2610.13354},
archivePrefix={arXiv},
primaryClass={cs.AI},
url={https://arxiv.org/abs/2610.13354},
}
AlphaNIST
AlphaNIST brengt deze filosofie naar contactrijke, precisie-robotmontage in simulatie. Een end-to-end policy leert hoe de taak voltooid moet worden, zonder voorgeschreven manipulatiefasen.
De uitdaging van montage
Het NIST Assembly Task Board #1 bevat twintig montagetaken, met onderdelen van slechts 4 mm. Het plaatsen van één onderdeel kan meerdere wijzigingen in greep en oriëntatie vereisen. Nauwe toleranties laten weinig ruimte voor fouten: een scheefgeplaatste moer kan klemmen of scheefdraaien.
Bij assemblages met meerdere onderdelen moet de robot daarnaast een volgorde bepalen. Een reeds geïnstalleerd component kan namelijk de volgende beweging van de grijper blokkeren.
Ruimte voor creativiteit
Het proberen voor te schrijven van elke manoeuvre betekent dat men moet anticiperen op hoe de robot moet reageren wanneer contacten en obstructies veranderen. Een grijper met twee vingers heeft bovendien mogelijk oplossingen nodig die heel anders zijn dan oplossingen die natuurlijk aanvoelen voor een menselijke hand.
Het antwoord is wellicht om te stoppen met vertellen hoe wij denken dat de taak uitgevoerd moet worden, en de robot in plaats daarvan te laten leren hoe hij het doel bereikt. Door een binaire taakbeloning (binary task reward) voor succes te geven en te trainen via enorme hoeveelheden diverse ervaringen, krijgt de robot de ruimte om oplossingen te ontdekken die we zelf wellicht nooit hadden bedacht om aan te leren.
Hoe de robot leert
Diversiteit in ervaring: heterogene activa en begintoestanden
Eén policy wordt getraind over twintig heterogene assemblages. De training start vanuit losse onderdelen, grepen in de hand en gedeeltelijke assemblages die zijn gecached in de simulatie.
Startsituaties die bijna voltooid zijn, stellen de robot in staat om te oefenen met het afronden van een assemblage voordat hij de volledige taak kan oplossen. De cache levert begintoestanden, geen demonstraties.
Success-guided sampling (SGS)
Beta sampling geeft de voorkeur aan begintoestanden die de policy ongeveer de helft van de tijd oplost, terwijl elke toestand een kans behoudt. Vooruitgang bij één toestand kan een andere toestand oplosbaar maken; het wegingsgewicht voor sampling verandert vervolgens op basis van de nieuwe resultaten. Naarmate de policy leert, ontvangen de verschillende begintoestanden verschillende hoeveelheden oefening.
Experiment met montage van enkelvoudige componenten
In dit experiment voert één policy alle twintig montagetaken uit, waarbij in elke run één component wordt gemonteerd:
- Tandwielen
- Moeren
- Staven
- Pennen
- Connectoren
Bij het gebruik van binaire taakbeloningen behaalt één policy die over alle twintig taken is getraind een hoger trainingssucces dan twintig afzonderlijke specialisten. Het toevoegen van beloningen voor het bereiken en uitlijnen van onderdelen verminderde het succes in dit experiment.
Emergent montagegedrag
Tijdens het leerproces ontstonden de volgende specifieke gedragingen:
- De grijper legt de 8 mm pen neer en pakt deze aan één uiteinde op, waardoor een groter deel van de pen vrijkomt voor insertie.
- De grijper gebruikt contact met het bord om de waterdichte connector te draaien voordat deze wordt ingevoegd.
- De D-sub connector wordt neergelegd en opnieuw gegrepen om deze uit te lijnen met de socket.
- Het middelste tandwiel, vastgehouden aan de zijkant, draait in een horizontale positie boven zijn montagepaal.
- De grijper rolt de M12-moer vanaf de rand naar een vlakke zijde voordat deze op de bout wordt geplaatst.
- Eenzijdige tikjes met de vingertop draaien de M4-moer langs de bout.
- Een vingertop duwt de 8 mm staaf over het oppervlak voordat de grijper deze oppakt.
- De grijper beweegt rond de M16-moer en gebruikt contact met de vingertoppen om deze langs de bout te draaien.
Bronvermelding
@misc{zhang2026alphanistemergentassemblyskills,
title={AlphaNIST: Emergent Assembly Skills from Binary Task Rewards},
author={Octi Zhang and Iretiayo Akinola and Rosario Scalise and
Mateo Guaman Castro and Patrick Yin and Tobias Widmer and
Miles Macklin and Chris Amevor and Dylan Turpin and
Dirk Van Gelder and Jan Carius and Ankur Handa and
Gavriel State and Yunrong Guo and Yashraj Narang},
year={2026},
eprint={2610.13354},
archivePrefix={arXiv},
primaryClass={cs.AI},
url={https://arxiv.org/abs/2610.13354},
}
Groetjes,