Je robots.txt maakt per AI-crawler een bewuste keuze

Waarom het uitmaakt

Met robots.txt vraag je crawlers welke delen van je site ze mogen bezoeken. AI-aanbieders gebruiken aparte namen voor het verzamelen van trainingsmateriaal, voor hun zoekfunctie en voor het ophalen van een pagina wanneer een gebruiker daarom vraagt. Wie alle AI-namen in één keer blokkeert, maakt drie keuzes tegelijk.

De trainingsnamen Google-Extended en Applebot-Extended blokkeren heeft volgens Google en Apple geen invloed op hun zoekresultaten, en OpenAI laat je zoeken toestaan en training uitsluiten. Een zoekbot of ophaler voor gebruikers blokkeren kan betekenen dat een assistent je site niet toont of niet leest wanneer een klant ernaar vraagt; OpenAI en Anthropic schrijven dat zelf. De afweging is dus controle over je teksten tegenover zichtbaarheid in AI-assistenten.

Zo is het goed geregeld

• Voor OpenAI kies je apart over GPTBot (verzamelt inhoud die voor training kan worden gebruikt), OAI-SearchBot (zoekfunctie van ChatGPT) en ChatGPT-User (haalt pagina's op bij een vraag van een gebruiker); volgens OpenAI gelden robots.txt-regels voor ChatGPT-User mogelijk niet.
• Voor Anthropic kies je apart over ClaudeBot (inhoud die kan bijdragen aan training), Claude-SearchBot (zoekresultaten) en Claude-User (ophalen voor vragen van gebruikers); Anthropic schrijft dat zijn bots robots.txt volgen.
• Voor Google regelt Googlebot je opname in Google Zoeken; Google-Extended is alleen een naam in robots.txt waarmee je kiest of inhoud wordt gebruikt voor training van Gemini-modellen en voor grounding in Gemini-apps, zonder effect op Google Zoeken. Ophalers die Google op verzoek van gebruikers inzet, zoals Google-Agent, negeren robots.txt volgens Google in het algemeen.
• Voor Perplexity kies je over PerplexityBot (zoekresultaten, volgens Perplexity niet voor training van basismodellen) en Perplexity-User (ophalen bij vragen van gebruikers); Perplexity schrijft dat die laatste robots.txt in het algemeen negeert.
• Voor Apple regelt Applebot zoekfuncties in onder meer Siri, Spotlight en Safari, en met een Disallow voor Applebot-Extended sluit je training uit zonder uit die zoekresultaten te verdwijnen. Noemt je robots.txt Applebot niet maar Googlebot wel, dan volgt Applebot de regels voor Googlebot.

Zo controleer je het zelf

1. Open jouwdomein.nl/robots.txt in je browser.
2. Zoek naar regels met 'User-agent:' en de namen hierboven, en kijk wat eronder staat; 'Disallow: /' betekent de hele site.
3. Kijk ook naar de groep 'User-agent: *', want een crawler zonder eigen groep volgt die regels.
4. Vraag je hostingpartij of beveiligingsdienst of die regels aan je robots.txt toevoegt; Cloudflare kan dat bijvoorbeeld met beheerde robots.txt-regels.

Zo los je het op

1. Bepaal per soort (training, zoeken, ophalen voor een gebruiker) wat je wilt toestaan en geef elke naam waarover je een keuze maakt een eigen groep in robots.txt.
2. Wil je training uitsluiten en zichtbaar blijven in zoekfuncties, zet dan Disallow: / onder GPTBot, ClaudeBot en Applebot-Extended en laat de zoeknamen toe. Google-Extended regelt naast training ook of Gemini-apps je inhoud als bron voor antwoorden mogen gebruiken; blokkeer die naam alleen als je dat ook wilt.
3. Zet robots.txt in de hoofdmap van je domein en doe dat voor elk subdomein apart, zoals Anthropic ook aanraadt.

Bronnen

• RFC 9309: Robots Exclusion ProtocolIETF (RFC Editor) · gecontroleerd op 2 november 2026robots.txt staat in de hoofdmap, groepen worden op naam gekozen met terugval op 'User-agent: *', en de regels zijn geen vorm van toegangsbeveiliging.
• Overview of OpenAI CrawlersOpenAI · gecontroleerd op 2 november 2026GPTBot (training), OAI-SearchBot (zoeken in ChatGPT) en ChatGPT-User (ophalen bij een vraag van een gebruiker; robots.txt geldt mogelijk niet); de instellingen zijn onafhankelijk van elkaar.
• Does Anthropic crawl data from the web, and how can site owners block the crawler?Anthropic · gecontroleerd op 2 november 2026ClaudeBot (training), Claude-User (ophalen voor gebruikers), Claude-SearchBot (zoeken); de bots volgen robots.txt en proberen geen captcha's te omzeilen; regel robots.txt per subdomein.
• Google's common crawlersGoogle for Developers · gecontroleerd op 2 november 2026Googlebot is voor Google Zoeken; Google-Extended is alleen een robots.txt-naam voor training van Gemini-modellen en grounding in Gemini-apps, zonder effect op Google Zoeken (pagina bijgewerkt 2026-10-30).
• Google User-Triggered FetchersGoogle for Developers · gecontroleerd op 2 november 2026Ophalers die op verzoek van een gebruiker werken, zoals Google-Agent, negeren robots.txt in het algemeen (pagina bijgewerkt 2026-08-19).
• Perplexity CrawlersPerplexity · gecontroleerd op 2 november 2026PerplexityBot is voor zoekresultaten en niet voor training van basismodellen; Perplexity-User haalt op bij vragen van gebruikers en negeert robots.txt in het algemeen.
• About ApplebotApple · gecontroleerd op 2 november 2026Applebot kan pagina's in een browser renderen en vraagt dat een pagina ook bruikbaar blijft zonder alle scripts; Applebot en Applebot-Extended en hun doel; Applebot volgt Googlebot-regels als Applebot niet genoemd wordt.
• Managed robots.txtCloudflare · gecontroleerd op 2 november 2026Cloudflare kan beheerde regels vóór je eigen robots.txt zetten; naleving van robots.txt is vrijwillig.