Beide voordelen behouden: vindbaar blijven in zoekmachines terwijl AI-training wordt geweigerd

Cloudflare kondigt vandaag een nieuwe instelling aan: Disallow AI Training. Hiermee kun je eenvoudig geïndexeerd blijven voor zoekmachines, terwijl je tegelijkertijd weigert dat diezelfde crawler jouw content gebruikt voor training. Apple, Google en Microsoft respecteren deze instelling reeds, of hebben toegezegd dit (binnen een opgegeven tijdsbestek) te doen.

Mixed-use crawlers vormden het lastigste deel van de trainingsvraag. AI-samenvattingen zijn de volgende stap. Een site-brede 'ja' of 'nee' is te bot: hoeveel van je content in een samenvatting verschijnt, is net zo belangrijk als of het überhaupt verschijnt. Een opt-out voor AI-samenvattingen is al een van de vereisten die we hebben gesteld voor exploitanten van mixed-use crawlers. Ons doel is om u tegen begin volgend jaar controle te geven over hoeveel van uw content wordt opgenomen — één keer ingesteld via Cloudflare, in plaats van apart bij elke operator.

Waarom vragen alleen niet genoeg zijn

De meeste site-eigenaren willen gevonden worden: door mensen, agenten en (goede) bots. Een aanzienlijk deel van het open internet wordt echter gefinancierd door advertenties, abonnementen of directe relaties met bezoekers, en die modellen betalen alleen wanneer iemand daadwerkelijk op de site arriveert.

Bijna elke site-eigenaar beschouwt zoekmachines als gunstig: minder dan 1% van de Cloudflare-sites kiest ervoor om zoekbots te blokkeren. Training is echter een ander verhaal: 17% van de sites kiest voor een mechanisme om training te blokkeren. Dit is precies waarom we hebben besloten dat site-eigenaren meer fijnmazige controles nodig hebben, in plaats van een alles-of-niets "Block AI"-optie.

Een robots.txt-richtlijn alleen kan dit probleem niet oplossen. Iedereen kan er een publiceren, maar het kan niet identificeren wie er crawlt, bepalen waarom ze crawlen, of een crawler stoppen die de richtlijn negeert.

Een netwerk kan dit echter wel oplossen: wij publiceren de voorkeur, identificeren wie er crawlt, classificeren waarom ze crawlen en blokkeren degenen die de voorkeur negeren – om dit vervolgens te rapporteren op Radar.

Blokkeren verwijdert echter een crawler; het verandert niet hoe crawlers zich gedragen. Het betere resultaat is wanneer operators je helemaal niet laten kiezen. Daarom zijn we sinds juli direct met hen in gesprek gegaan. De reacties waren bemoedigend: bijna iedereen was het erover eens dat site-eigenaren controle en transparantie moeten hebben over hoe hun content wordt gebruikt, en de zekerheid moeten hebben dat hun keuzes worden gerespecteerd. Om site-eigenaren hierin te helpen, hebben we een aanduiding gecreëerd: Accountable (Verantwoordelijk).

De Accountable-aanduiding erkent zowel de huidige mogelijkheden als concrete toezeggingen om deze te leveren. Om in aanmerking te komen, moet een bot-operator aan de volgende eisen voldoen of beloven deze te halen:

• Een mechanisme voor site-eigenaren om AI-training te weigeren via robots.txt of een vergelijkbare standaard.
• Een mechanisme voor site-eigenaren om AI-samenvattingen te weigeren, direct ingesteld bij de operator en volgend jaar via Cloudflare.
• Zichtbaarheid op URL-niveau over welke pagina's beschikbaar werden gesteld voor training, samen met statistieken over hoe content in de zoekresultaten verscheen.
• De garantie dat het weigeren van AI-training geen invloed heeft op traditionele zoekresultaten.

Apple, Google en Microsoft tonen aan dat zij voldoen aan de kwalificaties om Accountable te zijn. De details van de crawlers van deze bedrijven worden hieronder verder uitgewerkt.

Nieuwe opties voor beveiligingsinstellingen

Cloudflare classificeert bots op basis van gedrag, en één bot kan meer dan één gedrag vertonen. Er zijn drie gedragingen beschikbaar als controles:

• Search: crawlen om een zoekindex op te bouwen.
• Training: crawlen om een model te trainen of te verfijnen (fine-tuning).
• Agent: door gebruikers aangestuurde agenten die een pagina bezoeken namens een mens, zoals chat-fetch bots en browser-use agenten.

Een mixed-use crawler is een enkele crawler die zowel Search als Training uitvoert. Zonder controles creëert deze combinatie het eerder beschreven dilemma: site-eigenaren kunnen de ene functie niet weigeren zonder de andere ook te weigeren.

Om te voorkomen dat Accountable mixed-use crawlers worden geblokkeerd, introduceren we een nieuwe instelling: Disallow AI Training. Deze naam is afgeleid van de Disallow: richtlijn die in je robots.txt wordt gepubliceerd.

De "Block"-instelling heeft nu een andere betekenis

Voorheen waren "Block" en "Block on pages with ads" niet van toepassing op mixed-use crawlers, omdat het blokkeren hiervan ook de vindbaarheid in zoekmachines kon beïnvloeden. Nu we de nieuwe Disallow AI Training-instelling hebben, gelden "Block" en "Block on pages with ads" voor alle trainingscrawlers, inclusief mixed-use crawlers.

De controles voor Training, Search en Agent worden op domeinniveau toegepast. Met de toevoeging van Disallow AI Training zijn de beschikbare instellingen:

• Allow: Alle crawlers zijn toegestaan, tenzij ze door een andere instelling of een WAF-regel worden geblokkeerd.
• Disallow AI Training: Bot Preference Sync publiceert de toepasselijke no-training voorkeur in robots.txt. Accountable mixed-use crawlers blijven toegestaan voor zoekopdrachten. Elke andere trainingscrawler wordt geblokkeerd, inclusief de training-only crawlers van Amazon, Anthropic, Meta en OpenAI (het blokkeren hiervan heeft geen invloed op zoekresultaten). Disallow AI Training is alleen beschikbaar als instelling voor Training, niet voor Search of Agent.
• Block on pages with ads: Crawlers, inclusief mixed-use crawlers, worden alleen geblokkeerd op pagina's waarvan is gedetecteerd dat ze een advertentie serveren.
• Block: Alle crawlers, inclusief mixed-use crawlers, worden geblokkeerd.

Disallow AI Training werkt door een voorkeur in robots.txt te publiceren. Een voorkeur die alleen voor advertenties geldt, kan niet op die manier worden uitgedrukt: Cloudflare kan detecteren welke pagina's advertenties serveren, maar die lijst is te groot en verandert te frequent om in robots.txt op te sommen. Daarom is er geen Disallow AI Training on pages with ads.

Agenten veroorzaken niet hetzelfde dilemma met betrekking tot vindbaarheid als mixed-use crawlers, en er is op internet nog geen goed gevestigde richtlijn voor het uitdrukken van Disallow-voorkeuren aan agenten. Voorlopig voegen we daarom geen Disallow-instelling voor Agenten toe. Naarmate standaarden zoals ai-prefs rijpen, zullen we deze aanpak herzien.

Wat verandert er op 15 september?

We voeren de volgende wijzigingen door in Bot Management en AI Crawl Control:

1. Block en Block on pages with ads zijn nu van toepassing op mixed-use crawlers (waaronder Applebot, Bingbot en Googlebot). Beide instellingen beïnvloeden dus zowel de zoekresultaten als de training. Om training te stoppen en zoekresultaten te behouden, gebruik je Disallow AI Training.
2. “Block AI Bots” wordt uitgefaseerd ten gunste van de fijnmazigere Search, Training en Agent-controles.
3. Managed Robots.txt wordt uitgefaseerd ten gunste van Bot Preference Sync. Klanten die Managed Robots.txt hebben ingeschakeld, worden gemigreerd naar het nieuwe systeem.
4. Disallow AI Training wordt onderdeel van de aanbevolen configuratie voor bepaalde nieuwe domeinen.

Wat u moet doen

In bijna alle gevallen: niets. Uw huidige instellingen worden automatisch overgenomen.

Als u mixed-use crawlers volledig wilt verwijderen, moet u dit nu expliciet aangeven. Selecteer Block. Hiermee worden Applebot, Bingbot en Googlebot volledig tegengehouden van uw site, inclusief zoekresultaten.

Bestaande domeinen die nooit de Search/Training/Agent-controles hebben gebruikt

Site-eigenaren die de fijnmazige controles nooit hebben geconfigureerd, worden gemigreerd op basis van hun oude Block AI Bots-instelling:

(Oude) “Block AI” instelling	(Nieuw) Search instelling	(Nieuw) Training instelling	(Nieuw) Agent instelling
Uitgeschakeld (niet geselecteerd)	Allow	Allow	Allow
Block	Allow	Disallow AI Training	Block on pages with ads
Block on pages with ads	Allow	Disallow AI Training	Block on pages with ads

Bestaande domeinen die reeds de Search/Training/Agent-controles hebben geconfigureerd

Voor domeinen die al gebruikmaakten van de fijnmazige controles, behouden we het praktische effect van hun selecties. Vorige Training-selecties van Block of Block on pages with ads worden gemigreerd naar Disallow AI Training.

Controle	Oude instelling	Nieuwe instelling
Search	Allow → Allow	Block → Block	Block on pages with ads → Block on pages with ads
Training	Allow → Allow	Block → Disallow AI Training	Block on pages with ads → Disallow AI Training
Agent	Allow → Allow	Block → Block	Block on pages with ads → Block on pages with ads

Aanbevelingen voor nieuwe domeinen

Vanaf 15 september krijgen klanten die een nieuw domein toevoegen twee vooraf ingestelde configuraties, afhankelijk van of de site geld verdient met advertenties. Advertentie-inkomsten zijn afhankelijk van het feit dat een mens daadwerkelijk de pagina bekijkt. Training vervangt dat bezoek door een antwoord; agenten halen de pagina op zonder dat er iemand is om de advertenties te zien. Daarom zijn de presets voor sites met advertenties restrictiever.

Instelling	Site verdient geen geld met advertenties	Site verdient geld met advertenties
Preference Sync	Enabled	Enabled
Search	Allow	Allow
Training	Allow	Disallow AI Training
Agent	Allow	Block on pages with ads

Wat betekent dit voor specifieke mixed-use crawlers?

Applebot, Bingbot en Googlebot zijn Accountable. Onder Disallow AI Training mogen zij uw site blijven crawlen voor zoekresultaten. Het selecteren van Block stopt hen volledig.

We categoriseren ook de relevante crawlers van Amazon, Anthropic, Meta en OpenAI als Accountable. Deze organisaties scheiden hun Search- en Training-crawlers, waardoor Cloudflare de Training-crawler kan blokkeren zonder de zoekresultaten te beïnvloeden.

Applebot

Applebot stelt site-eigenaren in staat om training te weigeren door een Disallow-regel aan robots.txt toe te voegen voor "Applebot-Extended". Site-eigenaren kunnen momenteel ook voorkeuren voor AI-samenvattingen uitdrukken via de nosnippet-richtlijn in de HTML van de pagina. Content kan ook als paywalled content worden gelabeld om het uit generatieve output te sluiten. Applebot biedt nog geen tool voor inspectie op URL-niveau, maar Apple heeft details gedeeld over een oplossing die volgend jaar wordt gelanceerd. Apple heeft tevens verklaard dat het weigeren van training geen invloed heeft op de zoekranking.

Googlebot

Googlebot stelt site-eigenaren in staat om training te weigeren door een Disallow-regel aan robots.txt toe te voegen voor "Google-Extended". Daarnaast bieden ze een schakelaar in hun webmasterportal om de content van een site uit generatieve zoekresultaten te sluiten. Googlebot biedt ook statistieken en rapportages over zoekresultaten en AI-samenvattingen. Google werkt aan aanvullende transparantie-tools op URL-niveau voor Google-Extended, die in de komende weken worden gelanceerd. Google heeft verklaard dat het weigeren van Google-Extended geen invloed heeft op de zoekranking.

Bingbot

Bingbot biedt fijnmazige controles en transparantie in hun Webmaster Tools. Site-eigenaren kunnen AI-trainingvoorkeuren momenteel uitdrukken via de NOARCHIVE-metatag van Bing. Microsoft breidt deze mogelijkheden uit en bouwt momenteel aan een mechanisme om ook een "no training"-voorkeur in robots.txt op domein- of siteniveau te respecteren (gepland voor begin 2027). Totdat deze ondersteuning is gelanceerd, zal het selecteren van Disallow AI Training niet automatisch een no-training voorkeur aan Bing doorgeven via robots.txt. Microsoft heeft verklaard dat het gebruik van NOARCHIVE geen invloed heeft op de zoekranking.

Voortgang blijven boeken

We zullen contact blijven houden met alle exploitanten van AI-crawlers naarmate deze mogelijkheden evolueren. Cloudflare Radar volgt publiekelijk de controles, transparantie en rapportage die worden geboden door Accountable crawler-operators.

Het verbeteren van het internet vereist dat beide partijen handelingsbekwaamheid hebben: crawlers hebben toegang nodig tot het open web, en de mensen die dat web creëren hebben betekenisvolle controle nodig over hoe hun werk wordt gebruikt.

Wat is de volgende stap: AI-samenvattingen?

Training en AI-samenvattingen roepen verschillende vragen op. Training gaat over de vraag of content gebruikt mag worden om AI-modellen te bouwen. Samenvattingen beïnvloeden hoe mensen een bedrijf ontdekken, evalueren en uiteindelijk bezoeken.

Controles om AI-samenvattingen te weigeren zijn de eerste stap. De operators die als Accountable zijn aangemerkt, bieden deze mogelijkheid al aan of werken eraan. Maar een site-breide keuze tussen toestaan en verbieden is nog steeds een bot instrument. De juiste beslissing hangt af van de site, de content en het zakelijke resultaat.

Voor uitgevers roept training fundamentele vragen op over controle, compensatie en de duurzaamheid van originele content. Samenvattingen creëren een aparte en vaak directere distributievraag: bezoekt iemand de site van de uitgever, of consumeert men het antwoord binnen een zoek- of AI-ervaring?

De data illustreren een gemengde impact. Meer dan de helft van de consumenten leest samenvattingen in zoekresultaten, en deze consumenten hebben 40% meer kans om hun zoektocht te beëindigen na het lezen van zo'n samenvatting. Dit kan het aantal bezoekers aan een website verminderen. Echter, consumenten die via AI-Search worden doorverwezen, converteren drie tot vijf keer vaker dan consumenten die via traditioneel zoeken komen. AI kan dus zorgen voor minder bezoekers, maar wel voor bezoekers met een veel hogere intentie.

Dat is niet inherent goed of slecht. Een uitgever die gefinancierd wordt door advertenties, optimaliseert voor publieksvolume. Een retailer geeft wellicht de voorkeur aan minder bezoekers die vaker tot aankoop overgaan. De rol van Cloudflare is niet om voor hen te kiezen, maar om de zichtbaarheid en controle te bieden die nodig is om een geïnformeerde beslissing te nemen.

Het uitsluiten van samenvattingen is een sterk begin, maar niet het eindstation. Onze volgende focus is het helpen van site-eigenaren om te begrijpen hoe samenvattingen hun bedrijf beïnvloeden en hen meer controle geven over hoeveel van hun content gebruikt mag worden. Open standaarden zoals ai-prefs zullen een belangrijk onderdeel zijn om dit mogelijk te maken.