Gemini 4 Argon voor Robotica

Gemini 4 Argon markeert een significante stap voorwaarts in fysiek begrip, codegeneratie en visueel-semantische redenering. Hiermee worden nieuwe workflows in de gehele robotica-stack ontsloten en wordt de voortgang richting fysieke AGI (Artificial General Intelligence) versneld.

Deze sprong in capaciteit is zichtbaar in de Embodied Reasoning (ERQA) benchmark, die het vermogen van een model test om fysieke en ruimtelijke problemen in 3D-omgevingen te begrijpen en op te lossen. Met puur redeneren scoort Argon 87%, waarmee het alle andere frontier-modellen overtreft.

Als algemeen fysiek redeneermodel kan Argon worden toegepast over de gehele levenscyclus van robotica. In dit artikel delen we representatieve prompts voor Argon binnen vier kerngebieden:

  • Robotbesturing: Mobiele manipulatie met MuJoCo-praktijk, zero-shot robotbesturing en closed-loop besturing van video-wereldmodellen.
  • Real2Sim: Het reconstrueren van fysiek gekalibreerde simulatie-tweelingen (digital twins) op basis van camerabeelden van robots, egocentrische videobeelden van mensen of handgetekende schetsen.
  • Fysiek begrip: Agentische multimodale hindsight-labeling, inclusief gedetailleerd begrip van behendigheid, dense waardefuncties en voortgangsschattingen.
  • Onderzoek en zelfverbetering: Verbetering van acties via simulatie en iteratieve zelfverbetering op hardware.

Robotbesturing ontsluiten met Argon

1. Spot mobiele manipulatie: Afval weggooien met MuJoCo-praktijk

Argon bestuurt een Boston Dynamics Spot® quadruped (12-DoF poten + 6-DoF arm) om een nieuwe vaardigheid aan te leren: op een voetpedaal van een prullenbak trappen om frisdrankblikjes weg te gooien. Argon creëert een gelede MuJoCo-digitale tweeling van de prullenbak om de bewegingen te oefenen voordat deze het fysieke pedaal bedient en de blikjes in de open bak gooit.

Bijschrift video: Spot Mobiele Manipulatie — Real-to-Sim-to-Real afvalverwijdering via voetpedaal: Spot pakt het blikje op, controleert de polscamera, oefent 3-poten tripod-balans in MuJoCo, trapt op het voetpedaal, verifieert de centrering van de hand in de open bak en laat het blikje vallen.

Prompt:

Er staat een blikje Diet Coke achter je en een ander op de zwarte tafel links van je. Gebruik de spot-mobile-manipulation skill om ze op te pakken en weg te gooien in de zwarte prullenbak met voetpedaal. Controleer via de frontcamera's voordat je op het pedaal trapt of je doelwit voor de rechtervoorvoet gecentreerd is op het pedaal. Gebruik een 2-agent verificatieswarm (foot-verifier en hand-verifier) om zowel de stap op het voetpedaal als de 3D-uitlijning van de hand in de bak te verifiëren voordat je het blikje loslaat.

2. Zero-shot besturing

Argon bestuurt een eenvoudige robotarm om een omgevallen mok rechtop te zetten en een verfrommeld servetje erin te plaatsen. Argon redeneert met een visueel coördinatensysteem en actie-primitieven om deze taak over meerdere beurten uit te voeren.

Bijschrift video: Links: 3e-persoons weergave van de echte robot; Rechts: gekalibreerde polscamera met geprojecteerde wereldcoördinaten van 2 cm en een kaaksluitings-reticule.

Prompt: [Bijgevoegd: wrist_cam.png, obs.json] Taak: Zorg dat de robotarm de mok rechtop zet en het servetje in de mok plaatst.

Uitvoeringsdiscipline

  • Geef uitsluitend één zin observatie gevolgd door het curl-commando (met # Plan: in beurt 1 en # Thought: in elke volgende beurt). Alles wat nodig is staat in obs.json en het gekalibreerde raster/reticule op wrist_cam.png.

Visuele coördinatireferentie (geannoteerd op wrist_cam.png)

  • +X (Boven in beeld): Weg van de robotbasis | -X (Onder): Richting de robotbasis.
  • +Y (Links in beeld): Wereld-links | -Y (Rechts): Wereld-rechts.
  • +Z: Hoogte boven de tafel | Gele getallen: Wereld (X, Y) in centimeters (2 cm raster op grid_z).
  • Cyaan + kruisdraad: Huidig 3D-knijppunt centrum.
  • Cyaan [ + ] haken: Huidige lijn voor het openen en sluiten van de kaak.
  • Groene lijn: Huidige oriëntatie van de lange as van het object (yaw_deg: 0° = verticaal langs +X, 90° = horizontaal langs +Y).
  • pitchdeg = 90°: Recht naar beneden (-Z) voor grip/plaatsing van bovenaf; pitchdeg < 60°: Gekantelde coaxiale benadering langs de vingeras.

Closed-Loop Turn Workflow

  1. Inspecteer huidige staat & bekijk wristcam.png: curl -s http://127.0.0.1:8081/obs (geeft eepos, holding, status, workspace, wristcampath terug).
  2. Selecteer VLM-aanroep granulariteit in beurt 1:
  • Grof (2–4 aanroepen): look_at → grasp → place → done.
  • Pre-Grasp Hover Verify (4–7 aanroepen): lookat → goto(z=0.04) (verifieer of cyaan [ + ] haken het doel omsluiten) → grasp → placeuntil_contact → done.
  • Fine Visual Servoing (8–20 aanroepen): lookat → grasp → pre-pose goto → closed-loop moveby / moveuntilcontact → done.
  1. Verstuur bewegingsprimitieven (POST /plan) en verifieer visueel na elke beurt in de bijgewerkte wristcam.png. Als status == "graspfailed", roep robot.look_at(...) aan om opnieuw te observeren en de closed-loop te herstellen.

Code-as-Policies Primitieven (POST http://127.0.0.1:8081/plan)

robot.look_at(x=0.35, y=0.13, z=0.14, grid_z=0.015)
x, y = robot.deproject(u=0.52, v=0.48, z_plane=0.015)
robot.grasp(x=x, y=y, z=0.015, yaw_deg=-35, pitch_deg=90)
robot.place(x=0.24, y=0.06, z=0.075)
robot.place_until_contact(x=0.24, y=0.06, z=0.015, max_lag=0.012, relief=0.002)
robot.goto(x=0.28, y=0.05, z=0.04, arc_z=0.14, pitch_deg=25, azimuth_deg=90, roll_deg=0, speed=0.10)
robot.move_by(forward=0.025, dz=-0.002, dpitch_deg=-3, droll_deg=5, speed=0.04)
robot.move_until_contact(dz=-0.06, speed=0.03, max_lag=0.012, relief=0.002)
robot.open_gripper() / robot.close_gripper() / robot.home() / robot.done()

3. Omni-besturing

Argon bestuurt robots in het Gemini Omni World Model om vijf verspreide Scrabble-tegels (G, R, A, N, O) in een nette rij te leggen die het woord A - R - G - O - N spelt. In plaats van één statische prompt te gebruiken, bestuurt Argon in een gesloten visuele loop. Het schrijft tijdstempels voor actie-prompts, inspecteert tussenliggende rollout-keyframes en verfijnt de prompts.

Bijschrift video: Iteratieve Video World Model Steering Dexterous Hands: 33-staps gestuurde video-rollout die A-R-G-O-N spelt.

Prompt:

Doel: {task_goal}
Je bestuurt een video-wereldmodel (Gemini Omni) in een iteratieve visuele feedbackloop. Inspecteer de bijgevoegde frames van de laatste rollout en schrijf de volgende actie-prompt met tijdstempels voor het video-wereldmodel:
- Verdeel complexe bewegingen in één eenvoudige actie in één richting per keer.
- Houd inactieve handen ingetrokken en voorkom dat ze het zicht van de camera op objecten in de werkruimte blokkeren.
- Geef expliciet aan welke delen van de werkruimte leeg worden nadat een object is verplaatst.
- Gebruik [MM:SS.mmm] tijdstempels voor elke actie-beat en omsluit je output met <omni_prompt> tags.
Voorbeeldformaat (alleen voorbeeldtijdstempels):
<omni_prompt>
[00:00.000] De linkerhand van personage A rust aan de zijkant terwijl de rechterhand naar het doelobject reikt.
[00:02.500] De rechtervingertoppen van personage A duwen het object soepel naar het midden van de tafel, waardoor het startgebied leeg wordt.
[00:05.000] De rechterhand van personage A opent en trekt zich terug naar de zijkant, zodat alle geplaatste objecten duidelijk zichtbaar blijven voor de camera.
</omni_prompt>

Real2Sim ontsluiten met Argon

1. Robotweergave naar simulatie

Argon bekijkt een teleoperatie-episode van een echte robot en ontwikkelt een digitale tweeling. Het verkrijgt of creëert simulatie-assets die eruitzien en zich gedragen als de echte objecten bij contact met de behendige handen. Argon stemt de assets en scènes af om de sim-visuals en contactgebeurtenissen te laten overeenkomen met die in de echte geregistreerde data in een iteratieve visuele redeneringsloop.

Bijschrift video: Links (Echte weergave): gesynchroniseerde camerabeelden van de echte robot; Rechts (Gesimuleerd): 3D MuJoCo-scène gereconstrueerd en gekalibreerd door Argon.

Prompt: [Bijgevoegd: robotrolloutepisode]

Bouw een MuJoCo-scène van de robot en de gereconstrueerde taakobjecten. Wanneer elke episode frame voor frame wordt afgespeeld, stuur de robotgewrichten aan richting de gelogde observation.state met joint-space PD.
Itereer met twee verificatiedoelen:
(1) Visuele match: MuJoCo-renders van de headleft, leftwrist en right_wrist camera's komen overeen met en zien eruit als die echte observaties.
(2) Fysieke match: de gesimuleerde contactkracht/koppel op elke Sharpa-vingertop, in het sensorframe, komt overeen met de gelogde tactile_force in timing, magnitude en richting.
Wat je kunt afstemmen gebeurt voordat de simulatie start:
(1) Statische object-assets: realistische geometrie, botsvormen, massa, inertie, wrijving en gewrichten, met een uiterlijk dat dicht bij de echte objecten ligt, plus de initiële objectposities op t = 0.
(2) Offline-geplande robotcommando's, alleen gewijzigd in frames waar de echte vingertoppen nabij een object zijn. Elk commando moet binnen 0,55 rad (armgewrichten) en 0,65 rad (handgewrichten) van het gelogde teleop-traject blijven. Overal elders wordt het gelogde traject ongewijzigd afgespeeld.
Geen 'sim cheating': taakobjecten mogen alleen bewegen door echt MuJoCo-contact met de robot handen en de omgeving (mj_step).
Niet toegestaan na t = 0: het wijzigen van MjModel-parameters; het toepassen van externe krachten of koppels op objecten; lassen of gelijkheidsbeperkingen; feedforward-koppels buiten joint-space PD; het instellen of terugdraaien van object qpos/qvel; het uitschakelen of uitsluiten van botsingen; het rapporteren van contactkrachten die niet afkomstig zijn van de MuJoCo-solver.
Presenteer onmiddellijk de gereconstrueerde scène en rollout-resultaten als een interactieve HTML-sessieviewer met één pagina per episode, met:
- Onderaan: Een gesynchroniseerde tijdlijn (afspelen, scrubben, snelheidscontrole).
- Linkerpaneel: Een interactieve 3D Blender-scène van de gesimuleerde robot en objecten, met contactpunten en krachtpijlen tijdens het afspelen.
- Rechterpaneel: Echt vs. sim camerabeelden naast elkaar voor alle 3 de camera's, en real vs. sim vingerkracht-visualisaties.

2. Menselijke weergave naar simulatie

Op basis van een egocentrische menselijke video van een manipulatietaak identificeert Argon de relevante objecten, vervangt grove bounding boxes door samengestelde convex-gedecomponeerde meshes voor concave containers, en retarget de menselijke handtrajecten naar een 76-DoF bimanuale humanoïde met 22-DoF vijfvingerige handen in MuJoCo-contactfysica.

Bijschrift video: Human View to Simulation — Egocentrische menselijke video naar behendige humanoïde tweeling: Links is de input egocentrische menselijke RGB-video; Rechts is de gesynchroniseerde 500 Hz MuJoCo + Blender Cycles multi-view simulatie-rollout.

Prompt: [Bijgevoegd: egocentrichumanvideo.mp4, candidatesimviews.png, hand3dkeypoints.json]

Je bouwt een fysiek oplosbare 500 Hz MuJoCo-manipulatieomgeving (scene.xml) en een studio Blender-render die trouw de tabletop-taak reproduceert die wordt getoond in egocentrichumanvideo.mp4 op een bimanuale humanoïde robot met 22-DoF behendige vijfvingerige handen:
1. Scènereconstructie & Camerakalibratie:
- Identificeer alleen de manipulatie-relevante objecten (het gegrepen doelobject en de ontvangende container of landmark) en trianguleer hun 3D-tafelcoördinaten vanuit de egocentrische camera intrinsics/extrinsics.
- Vervang grove bounding boxes door samengestelde convex-gedecomponeerde 3D-meshes zodat concave containers (genestelde kommen, verdiepte houten trays, open bakken) fysieke interne plaatsing ondersteunen.
2. 500 Hz Dexterous Motion-Fitting Stress Test:
- Retarget de 3D menselijke pols- en vinger-keypoints naar de 7-DoF arm- en 22-DoF handgewrichten van de humanoïde, en voer het traject uit in MuJoCo op 500 Hz (dt = 0,002s) zonder kinematische weld-beperkingen.
- Verifieer tegenovergestelde duim-en-vinger force closure, een schone lift van het object (> 2 cm), en een stabiele uiteindelijke plaatsing in of naast het doellandmark.

3. Schets naar simulatie

Met Argon kan een ontwikkelaar een foto maken van een ruwe pen-en-papier schets — die een Apollo 2 humanoïde laat zien die een bal langs een parabolische boog gooit om een 3-2-1 stapel dozen op een tafel omver te werpen — en Argon automatisch de GPU-versnelde mujoco_warp scène laten construeren, een gebalanceerd 76-DoF whole-body en vijfvingerig werptraject synthetiseren, 6/6 doelwitten in closed-loop fysica verifiëren en een Blender 4.5 Cycles render exporteren.

Bijschrift video: Sketch to Simulation — Handgetekende schets naar behendig humanoïde traject & Cycles Render.

Prompt: [Bijgevoegd: handdrawnthrow_sketch.jpg]

Vertaal deze handgetekende schets naar een fysiek geverifieerde humanoïde simulatie in mujoco_warp en een raytraced Blender Cycles video:
1. Scène & Kinematische Setup vanuit Schets:
- Analyseer de ruimtelijke lay-out van handdrawnthrow_sketch.jpg: plaats de 76-DoF humanoïde (32-DoF lichaam uitgerust met twee 22-DoF vijfvingerige behendige handen) op de oorsprong, gericht naar een tafel met een 3-2-1 piramide van 6 rigide doeldozen, met een projectielsfeer in de rechterhand.
2. Whole-Body Balans & Dexterous Throw Synthese:
- Synthetiseer een 50 Hz whole-body werptraject (140 stappen, 2,80 s) over vier fasen: (1) stabiele stand & 5-vinger power grasp closure, (2) torso/schouder wind-up met enkel-heup Center-of-Mass compensatie, (3) voorwaartse zwepende acceleratie, en (4) gesynchroniseerd 22-DoF vijfvingerig openen op piek handsnelheid zodat de bal op een ballistische boog in het zwaartepunt van de tweede laag van de piramide landt.
- Verifieer in mujoco_warp contactfysica dat de humanoïde rechtopstaand balans behoudt (< 3 cm bekken-drift) en alle 6 de doeldozen omwerpt.

Fysiek begrip ontsluiten met Argon

1. Hindsight-labeling en datakwaliteit

Argon heeft een nauwkeurig fysiek begrip van behendige manipulatie en kan gedetailleerde segmentatie en tekstlabeling leveren op basis van video. Argon is in staat om slechte manipulatiesegmenten te identificeren, zoals pauzes, onstabiele grepen en fumbles. Op basis van een video van bovenaf van een bimanuale ALOHA 2 robot die een vierkant vel papier in een origami-vos vouwt gedurende 136 seconden, produceert Argon een tijd-uitgelijnde hindsight-annotatiehiërarchie op vier niveaus: Episode Doel (G1), 6 aaneengesloten Semantische Subtaken (G2), 17 contact-niveau Atomaire Primitieven (G3), en geautomatiseerde Kwaliteitscontrole (QC) reweighting die de taakvoortgang vlak houdt tijdens fumbles en retries.

Bijschrift video: Argon Multi-Granularity Hindsight & Telemetry HUD.

Prompt: [Bijgevoegd: Aloha2Origami20250309.mp4]

Produceer een tijd-uitgelijnde multi-granulariteit hindsight-annotatie JSON met vier niveaus:
1. G1episodeinstruction: Beknopte dwingende zin die het algehele manipulatiedoel beschrijft.
2. G2_subtasks: Aaneengesloten semantische subtuifases die specificeren welke arm(en) ankeren versus vouwen/roteren.
3. G3atomicprimitives: Fijnmazige contact-niveau primitieven (3–15s) uitgelijnd met grasp closure, vouwstreken, release of retry-pogingen.
4. qualitycontrolandreweighting: Houd taskprogress_pct vlak tijdens niet-progressieve slip/delaminatie retry-loops en weeg deze lager (0,15x–0,25x) voor Behavior Cloning.

2. De vreemde bal vinden

Om de klassieke 12-ballen balansweegschaal-puzzel met robots te recreëren, bouwt Argon een bimanuale Franka FR3 MuJoCo-omgeving met 12 visueel identieke poolballen (één is stiekem zwaarder of lichter) en een gelede Roberval tweepans-weegschaal. Vervolgens schrijft het een vision-only closed-loop solver die de ballen trianguleert via stereo RGB-camera's, de kanteling van de weegschaal visueel afleest na elke weging, en de vreemde bal binnen 3 wegingen isoleert in de Zware (Rode) of Lichte (Blauwe) bak.

Bijschrift video: Find the Odd Ball (Vision-Only Closed-Loop Solver): Dual-arm Franka FR3 weegt kandidaatballen op de Gouden/Teal pannen, leest stereo weegschaalkanteling af, en isoleert de bevestigde Zware vreemde bal in de Rode bak in 3 wegingen.

Prompts: Prompt 1 — Fysiek-accurate MuJoCo-omgeving & Benchmark-generatie

Maak een MuJoCo-omgeving waarin een dual-arm robot (twee 7-DoF Franka FR3 armen met parallelle-kaak grijpers op een gedeelde tafel) de taak heeft om de klassieke 12-ballen balansweegschaal-puzzel op te lossen (referentie: https://www.mathsisfun.com/poolballssolution.html).
1. Creëer 12 visueel ononderscheidbare poolballen in een 2x6 startrek (11 standaard 150 g, 1 vreemde bal van 270 g of 30 g).
2. Bouw een functionele tweepans Roberval-weegschaal in het midden van de tafel met parallellogram-gelijkheidsbeperkingen (mjEQ_JOINT) zodat de Linker (Gouden) en Rechter (Teal) pannen horizontaal blijven, plus Rode (Zware) en Blauwe (Lichte) inleverbakken.
3. Volg het aantal voltooide wegingen (weighing_count) en geef een reward van 1.00 voor het isoleren van de juiste vreemde bal in de juiste Zware/Lichte bak binnen <= 3 wegingen.

Prompt 2 — Closed-Loop Vision-Only Solver

Implementeer een onafhankelijk closed-loop beleid dat strikt vertrouwt op stereo RGB-camerainputs (headcameraleftrgbimage, headcamerarightrgbimage) en robot-proprioceptie (addprivilegedtask_observations=False):
1. Segmenteer de 12 ballen, Gouden/Teal pannen en Rode/Blauwe bakken in beide stereoviews en trianguleer hun 3D-coördinaten.
2. Lees de kanteling van de weegschaal visueel af na elke weging via stereo verticale pixeldispariteit (+1 = links zwaarder, -1 = rechts zwaarder, 0 = in balans).
3. Draai de gripper wrist yaw 90 graden bij het pakken/plaatsen in de smalle weegschaalpannen om de verhoogde randen te passeren, en isoleer de vreemde bal in de Rode of Blauwe bak binnen <= 3 wegingen.

3. Waardefunctie (Value function)

Argon fungeert als een algemene waardefunctie voor robotica-taken. Geëvalueerd op een 60-seconde bimanuale ring-sorteer-episode uit een menselijke UMI-dataset, inspecteert Argon iteratief gesynchroniseerde camerafeeds van het hoofd en de linker- en rechtergrijper rond contactovergangen. Hierdoor genereert het dense waardefunctie- / taakvoortgangsvoorspellingen en ontleedt het het traject in 28 segmenten met positieve, neutrale en negatieve voortgangshellingen.

Bijschrift video: Value Function: Gesynchroniseerde 3-camera UMI-playback (hoofd, linker grijper, rechter grijper) gekoppeld aan een geanimeerde taakvoortgangscurve en bimanuale segmentannotaties.

Prompt: [Bijgevoegd: umihead.mp4, umileftgripper.mp4, umiright_gripper.mp4]

Bekijk 3 video's van een mens die een grijper draagt en activiteiten uitvoert vanuit perspectief van het hoofd, de linker- en rechtergrijper. Bekijk de video's grondig en maak een gedetailleerde plot van de voortgang bij de taak (met positieve, neutrale, negatieve helling), identificeer belangrijke segmenten in de video en label de activiteiten. Bekijk indien nodig individuele frames of subsegmenten van de video voor een beter begrip.

Onderzoek en zelfverbetering ontsluiten met Argon

1. Actieverbetering via simulatie

Argon kan nieuwe data in simulatie genereren om de prestaties van generalistische vision-language-action (VLA) modellen te verbeteren. Uitgaande van één RGB-foto van een echte tafel, bouwt Argon autonoom een gekalibreerde MuJoCo-simulatietweeling, definieert nieuwe taken en synthetiseert een closed-loop bewegingsgenerator om meer dan 4.500 domain-randomized episodes in simulatie te verzamelen. Dit verhoogde de Success Rate van de fysieke robot in de echte wereld van 56% naar 75% en verkortte de voltooiingstijd van 35s naar 24s.

Bijschrift video: Action Improvement via Simulation: verbetert de real-world evaluatiebenchmark (56% → 75% Success Rate en 35s → 24s Completion Time).

Prompt: [Bijgevoegd: realtabletopphoto.jpg]

Je krijgt één overhead RGB-camerafoto (realtabletopphoto.jpg) van een bimanuale robotwerkruimte (twee 7-DoF Franka FR3 armen met parallelle-kaak grijpers en 4 RGB-camera's) gericht op een tafel met photobooth-party-props.
1. Reconstrueer procedurele 3D-meshes en samengestelde MuJoCo-botsingsprimitieven voor alle 9 party-props die overeenkomen met hun echte afmetingen, kleuren en rustposities, inclusief veer-scharnier vervormbare kroonpanelen voor de zachte pluche pet.
2. Definieer een curriculum van 77 taken voor één arm en bimanuaal (pick-and-place, rechtop zetten, directioneel duwen, mid-air overdrachten, bimanual scoop-and-push, en gepipelined tafel opruimen).
3. Synthetiseer een closed-loop IK-trajectgenerator over $\pm 10$ cm pose-randomisatie, verifieer reward == 1.0 in MuJoCo-fysica, en exporteer meer dan 4.500 episodes voor VLA-fine-tuning.

2. Zelfverbetering voor visueel oppakken en plaatsen

Op een eenvoudige 6-DoF arm verbetert Argon iteratief zowel de uitvoeringssnelheid als de plaatsingsnauwkeurigheid bij een pick-and-place taak via trial-and-error en zelfreflectie.

Bijschrift video: SO-101 Vision-Guided Pick-and-Place — Iteratieve hardware zelfverbetering over Iteraties 1 → 2 → 3: Iteratie 1 (58,9s), Iteratie 2 (22,9s, raakte de rand van de doos bij het laten vallen), en Iteratie 3 (17,4s, precies in het midden laten vallen).

Prompt: Stage 1 — Objecten meten & Dry-Run Plan (Geen hardwarebeweging)

Stage 1: meet objecten — vind de objecten en plan de volledige beweging. De arm beweegt in deze fase niet.
A. Ik plaats een LEGO-steentje en een doos op de tafel voor de arm, en de houten doos aan één zijde. Vind het steentje en de houten doos in de afbeelding en in de echte wereld. Toon dit in een geannoteerde afbeelding.
B. Een dry-run plan (geen hardware). Schrijf de planner om het lego-blok op te pakken en te plaatsen. Print de plantabel, teken alle poses op de overhead-afbeelding en stop. Beweeg de robot niet.
Rapporteer met bewijsmateriaal.

Stage 2 — Pre-Pick Hover & Wrist-Camera Verificatie

Stage 2: Plaats de grijper boven het steentje zonder het aan te raken, en verifieer met de polscamera of de arm en de visie overeenstemmen. Neem de uitvoeringen op met beide camera's.

Stage 3 (Autonome Pick-and-Place → Zelfverbetering → Optimalisatie):

1. Voer autonoom uit: Zet de Stage 1 dry-run om in een echte greep, lift en plaatsing in de houten doos. Voer dit zelf uit conform de veiligheidsregels uit AGENTS.md.
2. Zelfverbeteren: Wanneer een poging mislukt, diagnoseer dit zelf. Bekijk je eigen logs en pols/overhead-beelden, vind de bronoorzaak, controleer de fix in een dry-run en probeer het opnieuw.
3. Optimaliseer op feedback: Zodra het lukt, maak het minstens 2x sneller binnen de veiligheidslimieten (regel R5), tenzij ik meer autoriseer of feedback geef.

3. One-prompt robotica-paper reproducties in MuJoCo WebAssembly

Met één prompt per paper leest Argon een robotica-control manuscript en eventuele released checkpoints, poort het fysica-model en de closed-loop controller (van 7-netwerk hiërarchische locomotie in DeepLoco en 50 Hz PPO actors in HUSKY naar Web Worker iLQR in Whole-Body MPC) naar zelfstandige MuJoCo WebAssembly-browser labs, en verifieert deze in headless Chromium.

Bijschrift video: Vijf richtinggevende papers over looprobots & humanoïden live draaiend in de browser (MuJoCo WASM): Robotic Soccer OP3 1v1, DeepLoco, Massively Parallel Deep RL ANYmal C, Whole-Body MPC Go2, en HUSKY G1 Skateboarding (uit 68 interactieve browser sandboxes gereproduceerd door Argon).

Prompt: [Bijgevoegd: paper.pdf, optionele authorcheckpoints/ of urdfassets/]

Reproduceer de paper "<Paper Titel & arXiv ID>" vanaf nul in MuJoCo WebAssembly en implementeer een zelfstandig browser-lab + visueel essay:
1. Stem de exacte fysica-tijdstap, actuator gains (kp/kv), koppel-limieten en kinematische beperkingen van de paper af in MuJoCo XML, en voer echte neurale inferentie of Web Worker iLQR uit in JavaScript op de exacte control-rates van de paper.
2. Bouw index.html (Spatial UI simulator met camerapresets, live telemetrie-plots en disturbance-injectie) en scrollytelling.html (interactief visueel essay).
3. Voer een headless Chromium (Playwright) verificatieloop uit die bevestigt dat er 0 consolefouten zijn en er een non-zero taakvoortgang is over meer dan 300 frames.

Vooruitgang in belichaamde intelligentie met Argon

Argon slaat een brug tussen coderen, visuele perceptie, fysica-simulatie en belichaamde robotbesturing. Door native te redeneren over multi-view video, 3D-geometrie, contactmechanica en proprioceptieve telemetrie, begrijpt Argon niet alleen welke objecten zich in een scène bevinden, maar ook hoe ze fysiek interageren met agenten om complexe, behendige taken uit te voeren. Gemini 4 Argon markeert een belangrijke mijlpaal in de versnelling naar fysieke AGI. Ons doel is om robotica mogelijk te maken die zij aan zij met mensen kan werken om complexe uitdagingen op te lossen.

Aan de slag

Je kunt vandaag beginnen met bouwen met Gemini 4 Argon via de developer-platforms van Google:

  • Google AI Studio: Beschikbaar voor Google AI Ultra-abonnees.
  • Gemini API: Beschikbaar in het betaalde tier van de Gemini API in AI Studio. Gebruik gemini-4-argon in de Interactions API met ondersteuning voor de google-genai SDK's.
  • Google Antigravity: Beschikbaar voor Google AI Ultra-abonnees. Selecteer Gemini 4 Argon (gemini-4-argon) als je actieve model in Google Antigravity voor complexe planning, /goal runs en multi-agent orchestratie.