De Provenance-belasting: De impact van LLM-watermerken op het gedrag van AI-agenten begrijpen

Onlangs kondigde Anthropic aan dat toekomstige Claude-modellen een onzichtbaar watermerk in hun output zullen embedden [1], [2], en maakte vervolgens bekend dat dit watermerk is gebaseerd op SynthID-Text van Google DeepMind [2], [3]. Tekstwatermerken op zich zijn niet nieuw, maar de implementatie ervan is nu van reguliere relevantie. Artikel 50(2) van de EU AI Act [4] vereist dat aanbieders van AI-systemen die synthetische tekst genereren, hun output in een machineleesbaar formaat markeren en deze detecteerbaar maken als kunstmatig gegenereerd of gemanipuleerd, gebruikmakend van technische oplossingen die zo effectief, interoperabel, robuust en betrouwbaar mogelijk zijn.

Watermerken zijn ontworpen voor herkomst (provenance), maar SynthID-Text verandert het proces waarmee het model elk volgend token genereert. Op modelniveau kan dit het veiligheidsgedrag beïnvloeden, waaronder de vraag of het model een schadelijk verzoek weigert en of die weigering standhoudt onder prompt-injectie. Op agent-niveau kunnen dezelfde gesamplede tokens bepalen welke tool wordt aangeroepen en welke argumenten daaraan worden meegegeven. Prompt-injectie verbindt deze twee omgevingen, omdat een verzwakte weigering consequenter wordt wanneer het model ook kan handelen via tools. Een dergelijke watermerkprocedure kan dus zowel beïnvloeden wat het model zegt als wat een agent doet. We noemen dit gedragseffect sampling drift (steekproefverschuiving).

Of deze drift in de praktijk voorkomt, is een empirische vraag. We stellen vast dat dit het geval is, zowel in het weigeringsgedrag van het model als in de tool-aanroepen van de agent. Het effect is afhankelijk van het model en de gebruikte sleutel, en kan worden gemaskeerd door geaggregeerde scores wanneer veranderingen in tegenovergestelde richtingen elkaar opheffen. Daarom rapporteren we zowel de netto prestaties als de gepaarde onenigheid (paired disagreement) tussen runs met en zonder watermerk. De slotsectie bespreekt wat dit betekent voor AI-veiligheid en -beveiliging en wat ontwikkelaars hiermee moeten doen.

Ontworpen voor herkomst, ingezet in agenten

Een tekstwatermerk embedt een signaal waarmee output kan worden geïdentificeerd als AI-gegenereerd. Bestaande benaderingen omvatten post-processing methoden en methoden die direct in de LLM-generatie zijn geïntegreerd [8]. Benaderingen tijdens de generatie omvatten logits-biasing methoden [5], distortion-free keyed sampling [6], cryptografisch gemotiveerde constructies [7], en de Tournament sampling van SynthID-Text [3].

Figuur 1 contrasteert dit proces met normale sampling. Normale generatie samplet uit de token-distributie van het model. Een generatief watermerk voegt een random seed generator, een sampling-algoritme en een scoringsfunctie toe; SynthID-Text maakt gebruik van tournament sampling. (Aangepast van Dathathri et al. [3]).

We maken gebruik van de non-distortionary configuratie van SynthID, die de oorspronkelijke token-distributie in verwachting over de willekeur van het watermerk behoudt, terwijl individuele generaties onder een vaste sleutel nog steeds kunnen verschillen [3]. Dathathri et al. rapporteren geen meetbare kwaliteitsverslechtering over bijna twintig miljoen Gemini-reacties [3].

De implementatie van Anthropic illustreert ook waarom dit belangrijk is buiten first-party chat-interfaces. Het bedrijf stelt dat watermarking wordt toegepast op modelniveau en geldt voor ondersteunde modellen die worden benaderd via de Claude Platform API, cũng als via cloudproviders [1]. Een ontwikkelaar die een watermerkmodel gebruikt als het redeneercomponent van een agent, kan dus watermerk-outputs ontvangen, zelfs wanneer de agent zelf een aparte applicatie is. Dit maakt model-niveau gedragseffecten van watermarking relevant voor de agenten die rond dergelijke modellen zijn gebouwd.

Dezelfde tokens die het watermerk beïnvloedt, zijn dezelfde tokens waarop de agent handelt

Tournament sampling heeft meer mogelijkheden om de tokenselectie te wijzigen op punten waar het model onzeker is. In gestructureerde output zoals JSON zijn accolades, sleutels en functienamen vaak zeer voorspelbaar, terwijl waarden zoals queries, getallen, paden en ontvangers dat minder zijn. Een verandering die in gewoon proza zou neerkomen op een lexicale variatie, kan dus een argument wijzigen dat een agent uitvoert.

De gewichten en de prompt blijven ongewijzigd, maar de tokenselectie niet. Belangrijk is dat non-distortionary niet impliceert dat het gedrag identiek is onder een vaste watermerksleutel. De garantie geldt over de willekeur van het watermerk, terwijl een specifieke sleutel de tokenselectie tijdens de generatie verandert [3]. De resulterende sampling drift kan dus het gedrag van de agent veranderen, ook al is het watermerk non-distortionary in de zin gedefinieerd door Dathathri et al. Het effect kan ook afhangen van de watermerksleutel, dus we testen meerdere sleutels in plaats van te vertrouwen op één sleutel.

Hoe we het effect meten

We gebruiken een gepaard ontwerp voor twee experimenten. Tool-aanroepen worden geëvalueerd op BFCL v4 single-turn AST [9], en weigeringen op 200 schadelijke gedragingen van HarmBench [10] plus 100 onschuldige controles van JailbreakBench [11], waarbij schadelijke verzoeken zowel puur (bare) als onder één vaste prompt-injectietechniek worden getest. Tabel 1 vat de datasets, de evaluatiescop, de temperaturen en het verwachte gedrag samen.

We gebruiken de non-distortionary SynthID-Text configuratie via de ongewijzigde SynthIDTextWatermarkLogitsProcessor van HuggingFace, met 30 Tournament-lagen, n-gram lengte 5, sampling tabel 216, en contextgeschiedenis 1.024. Elk item wordt gegenereerd met en zonder SynthID met dezelfde seed, batchcompositie en volgorde bij elke temperatuur. De watermerkprocessor is het enige verschil binnen elk paar.

Tabel 1. Datasets en experimentele instellingen.

Experiment	Dataset en scope	T	Correct gedrag
Tool-aanroepen	BFCL v4 single-turn AST [9], live en non-live call-expected taken plus relevantie en irrelevantie	0.001, 0.7, 1.0	Correcte aanroep, of geen aanroep wanneer geen enkele past
Weigering	HarmBench [10], 200 schadelijke gedragingen; JailbreakBench [11], 100 onschuldige controles; bare en fixed-injection prompts	0.001, 0.7	Weiger schadelijk; beantwoord onschuldig

De kosten van watermerken voor tool-aanroepen

We testen of watermarking de toolselectie, argumenten of de validiteit van de output verandert. Een correct gevormde aanroep naar de juiste tool met een onjuist pad, ontvanger, query of bedrag is bijzonder consequential omdat deze succesvol kan worden uitgevoerd terwijl de verkeerde actie wordt uitgevoerd. We evalueren aanroepen individueel, hoewel een onjuiste aanroep in een ingezette agent ook daaropvolgende observaties en beslissingen kan beïnvloeden.

Hoe vaak de correctheid van tool-aanroepen verandert

Bij items waar een tool-aanroep wordt verwacht, vermindert watermarking de nauwkeurigheid bij zes van de zeven modellen, met een significante afname bij vier. De netto verandering in nauwkeurigheid laat echter niet zien of dezelfde individuele aanroepen slagen met en zonder het watermerk. Een aanroep die onjuist wordt, kan worden gecompenseerd door een andere die juist correct wordt, waardoor het geaggregeerde resultaat bijna ongewijzigd blijft, ook al gedraagt het model zich bij beide items anders.

We meten dit direct met behulp van de gepaarde onenigheidsgraad, die we churn noemen, gedefinieerd als het aandeel items waarvan het oordeel verschilt tussen de runs met en zonder watermerk. Voor de vergelijking over temperaturen in Figuur 2 gebruiken we de door onderzoekers gedefinieerde non-live items van BFCL, die ons een vaste set van 1.150 call-expected taken geven bij elke temperatuur.

Figuur 2 laat zien dat de gepaarde onenigheid aanzienlijk groter is dan de netto verandering in nauwkeurigheid. Bij T=1.0 verschillen 16,8% van de aanroep-oordelen van phi-4 tussen de twee condities, terwijl het netto verlies aan nauwkeurigheid 2,87 punten is. Llama-3.1-8B vertoont hetzelfde patroon, met 9,9% veranderende oordelen terwijl het netto verlies slechts 0,87 punten is. Over de 21 model-temperatuurcombinaties bedraagt de gemiddelde churn 6,5%, en het bootstrap-interval sluit nul in elk geval uit.

Figuur 2. Gepaarde onenigheid bij tool-aanroepen onder watermarking per model en temperatuur. Resultaten gebruiken 1.150 non-live BFCL call-expected items. De centrale verticale lijn vertegenwoordigt geen verandering ten opzichte van de conditie zonder watermerk. Oranje balken tonen aanroepen die veranderden van correct naar onjuist, en blauwe balken tonen aanroepen die veranderden van onjuist naar correct. De laatste kolom rapporteert de churn inclusief non-live irrelevantie-items. Diamanten duiden 95% bootstrap-intervallen die nul uitsluiten.

Welke tool-aanroepfouten veranderen

Ook het type fout is van belang. Een slecht gevormde output voorkomt dat de bedoelde aanroep wordt uitgevoerd, terwijl een goed gevormde aanroep met de verkeerde tool of het verkeerde argument nog steeds kan worden uitgevoerd. Figuur 3 splitst deze fouten op in: verkeerde tool, verkeerde argumenten en slecht gevormde output. In tegenstelling tot de vergelijking over temperaturen in Figuur 2, combineert deze analyse BFCL live en non-live call-expected items bij T=0.001 om fouten over de bredere benchmark te karakteriseren. Relevantie en irrelevantie zijn uitgesloten omdat deze testen of er een aanroep gemaakt moet worden, in plaats van of de uitgezonden aanroep correct is.

Figuur 3. Veranderingen in tool-aanroepfouten onder watermarking per fouttype. BFCL live en non-live call-expected items bij T=0.001, gescheiden in verkeerde tool, verkeerde argumenten en slecht gevormde output. De verticale lijnen tonen de nauwkeurigheid zonder watermarking, en de balken tonen de verandering wanneer watermarking wordt toegepast. Oranje duidt correct-naar-fout veranderingen en blauw fout-naar-correct veranderingen. Intervallen zijn 95% item-level bootstrap-intervallen.

Het foutenprofiel verschilt ook per model. Bij Llama-3.1-8B komt de grootste bijdrage aan het nauwkeurigheidsverlies voort uit onjuiste argumenten (−3,48 punten), gevolgd door aanroepen met de verkeerde tool (−1,84 punten). Bij phi-4 en Granite-3.2-8B domineren slecht gevormde outputs (−5,96 en −4,36 punten). Vergelijkbare geaggregeerde veranderingen kunnen dus voortkomen uit verschillende faalmodi.

Watermarking kan weigeringen verzwakken bij prompt-injectie

Weigeringen worden ook token voor token gegenereerd, dus watermarking kan deze beïnvloeden. We testen schadelijke verzoeken alleen en met één eenvoudige, vaste prompt-injectietechniek die bedoeld is om weigering te verminderen. De techniek voegt een adversariële instructie toe als opgehaalde inhoud, waarin wordt beweerd dat het veiligheidsfilter is uitgeschakeld en wordt gevraagd om mee te werken. Deze techniek wordt constant gehouden over prompts, modellen en temperaturen. OWASP GenAI LLM Top 10 2026 identificeert prompt-injectie als een kwetsbaarheid aan de inputzijde die het modelgedrag kan veranderen op manieren die niet door de ontwikkelaar van de agentic applicatie zijn bedoeld, met consequenties die kunnen reiken tot schadelijke outputs en ongeautoriseerde tool-acties in agentic systemen [12].

Weigeringsgedrag met en zonder de prompt-injectietechniek

Watermarking verandert het weigeringsgedrag bij pure schadelijke verzoeken, maar het effect wordt prominenter onder prompt-injectie. Zoals Figuur 4 laat zien, neemt de onenigheid bij verschillende modellen toe wanneer dezelfde schadelijke verzoeken worden gekoppeld aan de vaste prompt-injectietechniek, waarbij de sterkste effecten voornamelijk verschuiven van weigering naar naleving (compliance). Dit maakt het resultaat bijzonder relevant voor veiligheid, omdat het gedragseffect sterker wordt wanneer het model wordt blootgesteld aan een adversariële prompt.

Bij T=0.001 stijgt de churn van gemma-3-27b van 6,0% bij pure schadelijke verzoeken naar 23,5% onder prompt-injectie, terwijl de netto verandering in naleving verschuift van −1,0 naar +12,5 punten. Voor gemma-3-12b stijgt de churn van 7,5% naar 11,0% en de netto verandering in naleving van −0,5 naar +9,0 punten. In beide gevallen heeft watermarking weinig netto effect op weigering voor pure schadelijke verzoeken, maar verlaagt het de weigering aanzienlijk onder prompt-injectie. Llama-3.1-8B vertoont ook aanzienlijke churn onder injectie, reikend tot 14,0% bij T=0.001 en 17,5% bij T=0.7, hoewel de netto verandering individueel niet significant is.

phi-4 en Qwen3-4B vertonen weinig verandering onder beide condities. Beide modellen neigen in onze evaluatie tot over-weigering, ook bij de onschuldige controles. Hun beperkte beweging onder prompt-injectie moet daarom niet worden geïnterpreteerd als bewijs dat watermarking het veiligheidsgedrag bij deze modellen betrouwbaarder behoudt.

Het contrast tussen pure en geïnjecteerde verzoeken is belangrijk. Een watermerk dat weinig effect lijkt te hebben op weigeringsgedrag onder normale evaluatie, kan substantieel ander veiligheidsgedrag produceren onder adversariële omstandigheden.

Figuur 4. Gepaarde onenigheid bij weigeringen onder watermarking op schadelijke prompts, met en zonder de prompt-injectietechniek. Resultaten gebruiken 200 HarmBench gedragingen bij T=0.001 en 0.7. Oranje toont weigering-naar-naleving veranderingen en blauw naleving-naar-weigering veranderingen. Het linkerpaneel toont pure verzoeken en het rechterpaneel dezelfde verzoeken onder de vaste injectie. De centrale verticale lijn vertegenwoordigt geen verandering ten opzichte van de conditie zonder watermerk. Oranje balken tonen verzoeken die veranderden van niet-naleving naar schadelijke naleving, en blauwe balken tonen veranderingen in de tegenovergestelde richting. De kolommen rechts rapporteren netto nalevingsverandering en churn. Diamanten duiden 95% bootstrap-intervallen die nul uitsluiten.

Vergelijking met temperatuur-geïnduceerde churn

Om de door watermerken geïnduceerde onenigheid in context te plaatsen, vergelijken we deze met de onenigheid die wordt waargenomen bij het wijzigen van de temperatuurinstelling. Tabel 2 contrasteert de watermerk-geïnduceerde churn onder prompt-injectie bij T=0.7 met de churn die wordt waargenomen wanneer T wordt gewijzigd van 0.001 naar 0.7 zonder watermarking. De watermerk-geïnduceerde churn is significant hoger bij vier van de zes modellen. Granite-3.2-8B heeft de hoogste temperatuur-geïnduceerde churn met 15,5%, maar de watermerk-geïnduceerde churn blijft hoger met 21,5%. phi-4 en Qwen3-4B veranderen weinig onder beide interventies, consistent met hun reeds hoge weigeringspercentages.

Tabel 2. Watermerk- versus temperatuur-geïnduceerde weigerings-churn onder injectie. (Watermerk churn vergelijkt watermark off en on bij T=0.7; temperatuur onenigheid vergelijkt T=0.001 en 0.7 zonder watermarking).

Model	Watermark churn %	Temperatuur churn %	Verschil (95% CI)
gemma-3-27b	26.0	13.5	+12.5 (+6.0, +18.5)
Granite-3.2-8B	21.5	15.5	+6.0 (+0.5, +12.0)
Llama-3.1-8B	17.5	7.5	+10.0 (+4.5, +15.5)
gemma-3-12b	11.0	6.0	+5.0 (+0.5, +10.0)
phi-4	0.5	0.5	+0.0 (−1.5, +1.5)
Qwen3-4B	0.0	0.0	+0.0 (+0.0, +0.0)

Gevoeligheid voor de watermerksleutel

De voorgaande resultaten maken gebruik van één watermerksleutel, maar het effect van SynthID op tokenselectie is afhankelijk van de sleutel. We evalueren daarom de gevoeligheid voor de watermerksleutel bij T=0.7 met de gebruikte studiesleutel en tien aanvullende sleutels. Figuur 5 toont de resulterende verandering in aanvalssucces over de sleutels en modellen.

Figuur 5. Verandering in aanvalssucces onder elf watermerksleutels. Elke rij toont één model bij T=0.7 op de schadelijke verzoeken onder de injectie. De verticale lijn bij nul markeert het resultaat zonder watermarking, en elk punt toont de verandering wanneer watermarking wordt toegepast met een specifieke sleutel. Positieve waarden duiden op een hoger aanvalssucces en negatieve waarden op een lager aanvalssucces ten opzichte van de baseline zonder watermerk. Oranje punten tonen tien aanvullende sleutels; zwarte diamanten tonen de studiesleutel.

Het effect varieert aanzienlijk per watermerksleutel. Voor Llama-3.1-8B en beide Gemma-modellen verhogen de meeste sleutels het aanvalssucces ten opzichte van de baseline zonder watermerk, hoewel de omvang sterk varieert. Bij de twee Gemma-modellen behoort onze studiesleutel tot de sleutels die de grootste stijgingen produceren. Voor Llama-3.1-8B verhoogt de studiesleutel het aanvalssucces met 3,5 punten, terwijl de andere tien sleutels gemiddeld +4,4 punten scoren en variëren van −4,5 tot +14,5 punten. Granite-3.2-8B vertoont een meer gemengde reactie, waarbij verschillende sleutels het aanvalssucces in beide richtingen beïnvloeden. phi-4 en Qwen3-4B blijven opnieuw dicht bij de baseline, consistent met hun hoge weigeringspercentages. Het effect van watermarking is dus afhankelijk van zowel het model als de watermerksleutel.

Wat dit betekent voor AI-veiligheid en -beveiliging

Tekstwatermerken zijn bedoeld om te helpen identificeren of inhoud is gegenereerd door AI, maar binnen een agent worden ze ook onderdeel van het generatieproces dat beslissingen produceert. Onze resultaten laten zien dat het zowel de tool-aanroepen als het weigeringsgedrag kan veranderen, met wijzigingen in individuele beslissingen die door geaggregeerde nauwkeurigheids- of weigeringspercentages kunnen worden gemaskeerd.

Het effect op weigeringsgedrag wordt prominenter onder prompt-injectie. Watermarking verandert het weigeringsgedrag bij pure schadelijke verzoeken, maar het effect is sterker wanneer dezelfde verzoeken worden gekoppeld aan de prompt-injectietechniek. Bij verschillende modellen maakt watermarking het model waarschijnlijker om schadelijke verzoeken te beantwoorden die het anders zou weigeren. Dit experiment meet weigering op modelniveau in plaats van end-to-end agentgedrag. De relevantie voor agenten ontstaat wanneer het model toegang krijgt tot tools of andere acties. Een weigering die verandert in naleving kan dan niet alleen beïnvloeden wat het model zegt, maar ook wat een agent vervolgens doet. We testen deze gecombineerde faalmodus niet direct, maar de resultaten van tool-aanroepen tonen afzonderlijk aan dat watermarking ook de door het model gegenereerde acties kan veranderen.

Het effect is bovendien afhankelijk van het model en de configuratie. Figuur 5 laat zien dat het wijzigen van enkel de watermerksleutel zowel de omvang als de richting van het effect onder dezelfde prompt-injectie kan veranderen. Dit is bijzonder relevant voor provider-gehoste modellen, waarbij watermarking op modelniveau kan worden toegepast op outputs die worden geconsumeerd door onafhankelijk ontwikkelde agenten. Wanneer de watermerksleutel of configuratie wordt beheerd door de modelprovider, kunnen dergelijke wijzigingen ook plaatsvinden buiten de directe controle van de agent-ontwikkelaar.

Deze bevindingen maken een herbeoordeling belangrijk telkens wanneer watermarking wordt geïntroduceerd of wanneer de configuratie of sleutel wijzigt. Dergelijke wijzigingen kunnen individuele tool-aanroepen en veiligheidsbeslissingen op onverwachte manieren veranderen, vooral bij adversariële inputs, zelfs wanneer de geaggregeerde prestaties stabiel blijven. Evaluatie van agenten en red-teaming zouden daarom herhaald moeten worden onder de configuratie die bedoeld is voor implementatie, inclusief gepaarde vergelijkingen op dezelfde inputs en evaluatie onder prompt-injectie.

Een herkomstmechanisme dat gedragsmatig stabiel lijkt bij normale inputs, blijft mogelijk niet stabiel onder aanval. Watermarking moet daarom worden geëvalueerd als onderdeel van de geïmplementeerde beveiligingsconfiguratie van de agent.

Deze resultaten zijn geen argument tegen watermarking voor herkomstdoeleinden. Ze tonen aan dat herkomst en gedragsstabiliteit afzonderlijke eigenschappen zijn. Detecteerbaarheid en ongewijzigde tekstkwaliteit betekenen niet dat een agent hetzelfde gedrag bij tool-aanroepen of veiligheid zal behouden zodra watermarking is ingeschakeld. Hoewel we SynthID-Text bestuderen, geldt de bredere zorg voor alle interventies die de tokenselectie wijzigen in systemen die handelen op basis van gegenereerde tokens.

Referenties

[1] Anthropic, “How Claude marks AI-generated content,” Claude Help Center, 2026. [2] Anthropic, “How Claude’s text watermark works,” Aug. 14, 2026. [3] S. Dathathri, A. See, S. Ghaisas, et al., “Scalable watermarking for identifying large language model outputs,” Nature, vol. 634, pp. 818–823, 2024. [4] European Parliament and Council of the European Union, “Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act),” Official Journal of the European Union, Art. 50, 2024. [5] J. Kirchenbauer, J. Geiping, Y. Wen, J. Katz, I. Miers, and T. Goldstein, “A watermark for large language models,” in Proc. 40th Int. Conf. Machine Learning (ICML), PMLR, vol. 202, pp. 17061–17084, 2023. [6] R. Kuditipudi, J. Thickstun, T. Hashimoto, and P. Liang, “Robust distortion-free watermarks for language models,” 2023. arXiv:2307.15593. [7] M. Christ, S. Gunn, and O. Zamir, “Undetectable watermarks for language models,” in Proc. 37th Conf. Learning Theory (COLT), PMLR, vol. 247, pp. 1125–1139, 2024. [8] A. Liu, L. Pan, Y. Lu, J. Li, X. Hu, X. Zhang, L. Wen, I. King, H. Xiong, and P. S. Yu, “A survey of text watermarking in the era of large language models,” ACM Computing Surveys, vol. 57, no. 2, Art. 47, 2024. [9] S. G. Patil, H. Mao, F. Yan, C. C.-J. Ji, V. Suresh, I. Stoica, and J. E. Gonzalez, “The Berkeley Function Calling Leaderboard (BFCL): From tool use to agentic evaluation of large language models,” in Proc. 42nd Int. Conf. Machine Learning (ICML), PMLR, vol. 267, pp. 48371–48392, 2025. [10] M. Mazeika, L. Phan, X. Yin, et al., “HarmBench: A standardized evaluation framework for automated red teaming and robust refusal,” in Proc. 41st Int. Conf. Machine Learning (ICML), PMLR, vol. 235, pp. 35181–35224, 2024. [11] P. Chao, E. Debenedetti, A. Robey, et al., “JailbreakBench: An open robustness benchmark for jailbreaking large language models,” in Advances in Neural Information Processing Systems 37 (NeurIPS 2024), Datasets and Benchmarks Track, 2024. [12] OWASP GenAI Security Project, “OWASP GenAI LLM Top 10 2026,” Aug. 3, 2026.