SlopShape is een onderzoeksinitiatief dat zich richt op het detecteren van AI-gegenereerde commerciële webcontent. Waar traditionele detectoren op woordniveau vaak tekortschieten bij het herformuleren van tekst, analyseert SlopShape structurele signatuurkenmerken, zoals de volgorde van informatie, de toon en het gebruikte bewijs.
In een studie waarbij 2.250 menselijke blogposts werden vergeleken met 11.250 AI-generaties van vijf frontier-modellen, kwamen de volgende resultaten naar voren:
- Hoge detectiegraad: AI-posts worden met een macro-F1 van 98,0 herkend, een resultaat dat standhoudt zelfs wanneer de tekst wordt geherformuleerd.
- Karakterisering: AI-content vertoont een specifieke, 'zelf-aankondigende' structuur, terwijl menselijke content veel zeldzamere configuraties vertoont.
- Attributie: In 79,3% van de gevallen kan de specifieke AI-bron correct worden herleid.
De resultaten bevestigen de bevindingen van StoryScope en tonen aan dat structurele analyse een robuuste methode is voor AI-detectie.
SlopShape: Het identificeren van commerciële webcontent die door AI is gegenereerd
Samenvatting
Detectoren op woordniveau identificeren onbewerkte, door AI gegenereerde tekst bijna perfect, maar in de literatuur wordt beschreven dat deze kwetsbaar zijn bij het herformuleren van de tekst. Bovendien karakteriseert een score op woordniveau de tekst niet en identificeert het niet welk AI-model de tekst heeft geschreven.
In dit onderzoek is onderzocht of AI-gegenereerde tekst op een dieper niveau kan worden geïdentificeerd aan de hand van structurele signatuurkenmerken: hoe informatie wordt gepresenteerd, in welke volgorde, met welk bewijs en in welke toon.
Methodologie en Resultaten
De onderzoekers hebben StoryScope (Russell et al., 2026), dat dergelijke patronen aantoonde voor AI-gegenereerde fictie, gerepliceerd voor commerciële content. Hierbij zijn de volgende gegevens vergeleken:
- 2.250 door mensen geschreven blogposts van vóór ChatGPT, afkomstig van 268 company-domeinen.
- 11.250 AI-mirrors van vijf geavanceerde ('frontier') modellen.
Er is gebruikgemaakt van een instrument met 214 kenmerken, toegepast door een LLM en gevalideerd in een menselijke 'gold-annotation' sessie (mens-mens kappa 0,928; mens-model 0,946).
De belangrijkste bevindingen zijn:
- Detectie: Op basis van enkel de 187 structurele kenmerken worden AI-posts gedetecteerd met een macro-F1 van 98,0 bij niet-gebruikte bedrijven. Dit resultaat bleef vrijwel ongewijzigd (98,1) wanneer elke AI-post door het eigen model werd geherformuleerd.
- Karakterisering en attributie: AI-posts delen een nette, 'zelf-aankondigende' vorm.
- Bronherleiding: 79,3% van de posts wordt toegeschreven aan de juiste bron, tegenover een kanspercentage van 16,7%.
- Menselijke content: Posts van mensen vertonen zeldzame structurele configuraties.
Alle effecten bevestigen de resultaten van StoryScope, waarbij de resultaten consistent zijn in richting en groter in omvang.
De bijbehorende pipeline, het instrument, de prompts, de code en de geaggregeerde artefacten zijn beschikbaar gesteld.
SlopShape: Het identificeren van commerciële webcontent die door AI is gegenereerd
Samenvatting
Detectoren op woordniveau identificeren onbewerkte, door AI gegenereerde tekst bijna perfect, maar in de literatuur wordt beschreven dat deze kwetsbaar zijn bij het herformuleren van de tekst. Bovendien karakteriseert een score op woordniveau de tekst niet en identificeert het niet welk AI-model de tekst heeft geschreven.
In dit onderzoek is onderzocht of AI-gegenereerde tekst op een dieper niveau kan worden geïdentificeerd aan de hand van structurele signatuurkenmerken: hoe informatie wordt gepresenteerd, in welke volgorde, met welk bewijs en in welke toon.
Methodologie en Resultaten
De onderzoekers hebben StoryScope (Russell et al., 2026), dat dergelijke patronen aantoonde voor AI-gegenereerde fictie, gerepliceerd voor commerciële content. Hierbij zijn de volgende gegevens vergeleken:
- 2.250 door mensen geschreven blogposts van vóór ChatGPT, afkomstig van 268 company-domeinen.
- 11.250 AI-mirrors van vijf geavanceerde ('frontier') modellen.
Er is gebruikgemaakt van een instrument met 214 kenmerken, toegepast door een LLM en gevalideerd in een menselijke 'gold-annotation' sessie (mens-mens kappa 0,928; mens-model 0,946).
De belangrijkste bevindingen zijn:
- Detectie: Op basis van enkel de 187 structurele kenmerken worden AI-posts gedetecteerd met een macro-F1 van 98,0 bij niet-gebruikte bedrijven. Dit resultaat bleef vrijwel ongewijzigd (98,1) wanneer elke AI-post door het eigen model werd geherformuleerd.
- Karakterisering en attributie: AI-posts delen een nette, 'zelf-aankondigende' vorm.
- Bronherleiding: 79,3% van de posts wordt toegeschreven aan de juiste bron, tegenover een kanspercentage van 16,7%.
- Menselijke content: Posts van mensen vertonen zeldzame structurele configuraties.
Alle effecten bevestigen de resultaten van StoryScope, waarbij de resultaten consistent zijn in richting en groter in omvang.
De bijbehorende pipeline, het instrument, de prompts, de code en de geaggregeerde artefacten zijn beschikbaar gesteld.
Groetjes,