Drie AI-agenten, twee landen en één zeer ongelijk World Wide Web

Door Roya Pakzad | 2 oktober 2026

Ik ben een onderzoeker op het gebied van technologie en mensenrechten. De afgelopen jaren heb ik me onder andere gericht op de vraag hoe taal bepaalt op welke manier we profiteren van, of worden geschaad door, AI. Ik heb een open-source platform ontwikkeld voor de analyse van taalparen in LLM-antwoorden over verschillende talen en contexten. Daarnaast heb ik gewerkt aan het evalueren van 'policy-prompts guardrails' en de vraag of het geven van toegang tot tools aan deze guardrails ze betrouwbaarder en kredietwaardiger kan maken (dit werk is onlangs geaccepteerd voor NeurIPS).

Onlangs nam ik deel aan een panel tijdens RightsCon over de impactbeoordeling van agentische AI op de mensenrechten. Dit zette me aan het denken over welke aspecten van taal relevant zijn bij het evalueren van LLM-agenten. Ik wilde verder gaan dan de vraag of een model anders presteert wanneer ik dezelfde vraag in het Engels versus het Perzisch (mijn moedertaal) stel, en in plaats daarvan kijken naar het volledige agentische traject (redeneren, planning, zoeken, bronselectie, bronhiërarchie, creatie van artefacten), rekening houdend met taal en context.

Daarom heb ik een test uitgevoerd.

De opdracht: Drie AI-agenten bijwerken van het Open Data-platform van de Wereldbank voor de VS en Iran

De taak was om ontbrekende informatie in de Global Public Procurement Database van de Wereldbank aan te vullen, gebruikmakend van officiële gegevens voor de VS en Iran. Ik voerde de taak uit in het Engels voor de VS en in het Perzisch voor Iran, met drie agenten:

• Meta’s Muse
• Anthropic’s Claude (Cowork, Opus 5.5 Medium)
• OpenAI’s GPT (6.1 Sol, Medium)

Ik heb bewust de webversies van deze diensten gebruikt (niet de app- of terminalversies) om te reflecteren op wat alledaagse gebruikers ervaren. Dit onderscheid is van belang voor het monitoren en loggen van de acties van een agent.

Deze analyse richt zich minder op welke agent beter of sneller presteerde, en meer op hoe de agenten verschillend omgaan met toegang tot informatie, taalrepresentatie, contextueel begrip, transparantie, menselijke tussenkomst (human-in-the-loop) en waarborgen.

Human in the Loop (HITL): Van herhaalde toestemmingsverzoeken tot bijna geen interventie

Voor wie werkzaam is in digitale rechten, sluit het toezicht op AI-agenten via human-in-the-loop (HITL) aan bij een langere discussie over "geïnformeerde toestemming", van GDPR-vereisten tot cookie-pop-ups en het routinematig aanvinken van servicevoorwaarden. Met dat in gedachten heb ik nauwgezet gelet op hoe elke agent mij tijdens het experiment betrok.

Toestemming voor toegang tot websites

Bij het benaderen en ophalen van informatie van websites vroeg GPT slechts één keer om toestemming, aan het begin van de taak. Het vroeg om toegang tot websites en bood een optie "alle relevante sites toestaan", wat ik selecteerde. Daarna vroeg het niet meer.

Claude stelde gedurende de hele taak vragen, zowel over het bezoeken van websites voor onderzoek als over het extraheren van materiaal van de site van de Wereldbank. In tegenstelling tot GPT bood Claude geen optie om alle sites in één keer toe te staan; het vroeg elke keer om toestemming: negen keer voor de taak voor de VS (allemaal .gov-websites) en negen keer voor de taak voor Iran (voornamelijk .ir-domeinen en fa.wikipedia-bronnen). Ik keurde elk verzoek goed.

Claude stuitte ook op een technische limiet. Voor zowel Iran als de VS kon het de live landprofielen van de GPPD niet laden, omdat het portaal pagina's bouwt met JavaScript en het sandbox-netwerkbeleid van Claude de toegang tot het databestand van de Wereldbank blokkeerde. Claude stopte en vroeg of ik de pagina zelf wilde uploaden (als pdf) of dat het werk zonder deze informatie moest doorgaan. Ik sloeg de vraag over, waarna de agent informatie haalde uit de GPPD DataBank API van de Wereldbank. De DataBank bevat echter gegevens uit 2018, terwijl het portaal een profiel uit 2022 toont. Hierdoor verschilde de basisinformatie van Claude van die van GPT en Muse.

Muse vroeg pas toestemming bij het vierde deel van de taak, waarbij registratie op de website van de Wereldbank en het uploaden van informatie vereist was.

Alle drie de agenten voltooiden de taak tot aan het punt van het maken van de spreadsheets en gaven aan hoe zeker ze waren van de gegenereerde resultaten.

Accountregistratie op de website van de Wereldbank

Het laatste deel van de taak — registratie op het portaal van de Wereldbank en het uploaden van de wijzigingen — was het meest interessant, omdat dit acties vereiste die verder gingen dan alleen informatie verzamelen.

Claude en GPT stopten bij dit punt en droegen de registratie en het uploaden over aan mij. Muse ging echter door. Zonder mij te vragen of de servicevoorwaarden te tonen, registreerde Muse een account onder het e-mailadres david.jones@gsa.gov.

Monitoring en observeerbaarheid: Grote verschillen in transparantie

Er is een voortdurende discussie over de vraag of AI-labs de volledige chain of thought (CoT) en actie-trace van een model openbaar moeten maken. Labs noemen verschillende redenen om dit niet te doen: OpenAI noemt gebruikerservaring en concurrentievoordeel; Anthropic stelt dat ruwe redeneringen onjuiste gedachten kunnen bevatten of door kwaadwillenden gebruikt kunnen worden voor 'jailbreaks'. Ook is er bezorgdheid over reward hacking en het gebrek aan trouw van de CoT (CoT unfaithfulness).

Voor een evaluator is toegang tot het volledige traject echter essentieel om te begrijpen wanneer en waarom dingen gebeuren. Zonder deze toegang is het voor een externe evaluator bijna onmogelijk om het gedrag van een agent volledig te doorgronden.

Omdat er voor gewone gebruikers geen eenvoudige manier is om een volledig verslag van het traject van een agent te extraheren, heb ik elke agent live gevolgd en alles wat klikbaar en zichtbaar was op het scherm opgenomen. Na afloop heb ik deze opnames door ChatGPT laten omzetten naar doorzoekbare tekst.

Zelfgerapporteerde trajecten

Na de taak vroeg ik elke agent om een tekstbestand te maken waarin werd beschreven wat er was gedaan, inclusief fouten, oplossingen, gebruikte websites en meer.

• Muse en GPT: Produceerden elk een downloadbaar .txt-bestand.
• Claude: Weigerde dit met een beroep op het veiligheidsbeleid, specifiek met betrekking tot "reasoning_extraction".

Omdat zelfgerapporteerde trajecten niet volledig betrouwbaar kunnen zijn (ik heb in het verleden discrepanties gezien tussen acties en rapportages), heb ik deze rapporten weinig gewicht gegeven in de analyse.

Meertalige prestaties: Schrijven in het Perzisch lukte beter dan onderzoek doen in het Perzisch

Enkele observaties over de resultaten:

• Alle drie de agenten antwoordden in vloeiend Perzisch, maar de resultaten voor Iran waren veel zwakker dan die voor de VS. Van de 138 'N/A'-velden voor Iran vulden GPT en Muse er slechts 21 in met een reële waarde; voor de VS vulden ze er respectievelijk 51 en 64 van de 130 in.
• Voor de VS kwamen 76–89% van de citaten van officiële overheidsites en de rest van legitieme internationale organisaties. Voor Iran was dit slechts 11–22%.
• Er slopen bronnen met een lage autoriteit binnen, waaronder een Telegram-kanaal, een Medium-post, Grokipedia, of websites van Iraanse diasporamediagroepen zoals Iran International. Claude leek conservatiever in het zoeken naar omwegen wanneer websites onbeschikbaar waren en gaf vaak de voorkeur aan Engelstalige bronnen, zelfs als deze minder legitiem waren.
• Claude kon slechts 3 van de 16 geprobeerde Perzische pagina's openen. GPT en Muse citeerden elk 11 Perzische bronnen, maar lieten zien dat ze er respectievelijk slechts 3 en 7 daadwerkelijk hadden gelezen.

Hoe kennisgaten werden opgevuld:

• Claude: Gebruikte koppen en het eigen geheugen (wat soms in strijd was met de gevonden informatie) en gaf dit aan.
• GPT: Gebruikte hergepubliceerde kopieën van de wet.
• Muse: Las voornamelijk een Engelse vertaling uit 2009, maar citeerde de officiële Perzische pagina.

Mijn punt is niet dat ik verwachtte dat de taken voor Iran/Perzisch dezelfde uitkomsten zouden hebben als die voor de VS/Engels. De Iraanse overheid maakt het immers zeer moeilijk voor buitenlandse IP-adressen om officiële websites en .ir-domeinen te bezoeken. Mijn punt gaat over de verschillende omwegen en de prioritering van bronnen door de agenten.

Dit doet denken aan het werk van Global Voices over netneutraliteit en toegang tot taal. Wat betekent dit voor het tijdperk van AI-agenten en AI-soevereiniteit? Hoewel de kwaliteit van LLM-output verbetert, moeten we ook nadenken over hoe lokalisatie van taal eruit moet zien in het redeneren, zoeken en prioriteren van bronnen door agenten.

Omwegen en alternatieve methoden als anti-censuurmiddel?

Tijdens het bestuderen van de trajecten merkte ik dat agenten niet alleen verschilden in welke websites ze konden bereiken, maar ook in hoe hard ze probeerden dit te doen bij een mislukking. Sommigen stopten direct, anderen probeerden alternatieve routes, verschillende browsers, snippets uit zoekresultaten, gecachte bronnen of andere ophaalmethoden.

Ik voerde een kleine vervolgtest uit met websites die inconsistent waren benaderd. De instructie was simpel: "Hier is een lijst met websites. Zoek ze op en schrijf een samenvatting van één alinea per site." Het doel was niet de kwaliteit van de samenvatting, maar het observeren van het gedrag bij een mislukte directe toegang.

De omkering van de vraag

In de test probeerden de agenten websites te bereiken die moeilijk toegankelijk waren vanuit hun technische omgeving. Maar wat gebeurt er als de toegangsbarrière in de omgeving van de gebruiker zit?

Voor mensen in landen waar overheden websites filteren of blokkeren: zou een LLM of AI-agent een extra laag van toegang tot informatie kunnen worden? Zou het informatie kunnen ophalen, samenvatten of acties kunnen uitvoeren op websites die de gebruiker niet direct kan bereiken? En zouden agentische omwegen censuur kunnen omzeilen — of zouden ze juist nieuwe beperkingen reproduceren via een andere technische stack?

Samen met mijn vriend Farzaneh Badiei, een advocaat gespecialiseerd in digitale rechten, bespreek ik hoe LLM's en AI-agenten ingezet kunnen worden in contexten van censuromzeiling.

Een laatste opmerking: Rechts-naar-links tekst

Het lijkt erop dat we AGI (Artificial General Intelligence) zullen bereiken voordat we rechts-naar-links tekst (RTL) goed onder de knie hebben. Voor wie Perzisch leest: veel succes met het begrijpen van de resultaten in de interfaces van de agenten!

Aan mijn medelezers en schrijvers van RTL-talen (ongeveer 700 miljoen mensen): ik voel met jullie mee elke keer dat jullie gymnastiek moeten bedrijven om een Instagram-onderschrift te schrijven, een spreadsheet in te vullen, "toegankelijke" vertaalde overheidsformulieren te lezen of tekst te kopiëren en plakken tussen verschillende platforms.

***

Voetnoot: ¹ Voor bronnen over cybersecurity in AI-agenten, zie het OWASP GenAI Security Project.