AI-crawlers toelaten in je robots.txt

Steeds meer mensen stellen hun vraag niet aan Google, maar aan ChatGPT, Claude of Perplexity. Wil je in die antwoorden aangehaald worden, dan moeten de crawlers van die AI-systemen je website mogen ophalen. Dat regel je in je robots.txt. Voor de AI-overzichten van Google is Googlebot genoeg, want die putten uit de gewone Google-index. Hieronder lees je wat AI-crawlers zijn, waarom toegang bepaalt of je meetelt, en hoe je ze toelaat.

Wat zijn AI-crawlers?

Een AI-crawler is een programma dat websites bezoekt namens een AI-systeem. Er zijn drie soorten. Trainingsbots, zoals GPTBot en ClaudeBot, halen content op om taalmodellen te trainen. Zoekbots, zoals OAI-SearchBot, Claude-SearchBot en PerplexityBot, bouwen de index waaruit de assistent antwoordt. En gebruikersbots, zoals ChatGPT-User, Claude-User en Perplexity-User, halen een pagina op zodra iemand er in een gesprek om vraagt. De zoek- en gebruikersbots zijn de belangrijkste als je gevonden en aangehaald wilt worden. Google-Extended is geen aparte crawler maar een instelling in je robots.txt die alleen gaat over het trainen van Gemini.

Anders dan Googlebot voeren de crawlers van ChatGPT, Claude en Perplexity geen JavaScript uit. Ze lezen de kale broncode. Daarom is het niet alleen belangrijk dat ze binnen mogen, maar ook dat je content al in de HTML staat.

Waarom toegang bepaalt of je meetelt

Een AI-zoekmachine kan je alleen aanhalen als hij je pagina heeft mogen ophalen. Staat er in je robots.txt een blokkade voor de bot, dan besta je voor dat systeem simpelweg niet, hoe goed je content ook is. Toegang is dus de eerste, harde voorwaarde. Al het andere (heldere koppen, sterke antwoorden, actuele pagina’s) doet er pas toe als de bot binnen mag.

Gebruik je Cloudflare, kijk dan ook daar. Sinds juli 2025 blokkeert Cloudflare AI-crawlers standaard bij nieuwe domeinen, los van wat er in je robots.txt staat.

Een veelgemaakte fout: iemand blokkeert GPTBot “tegen AI-scraping” en sluit daarmee onbedoeld ook de citatie in ChatGPT uit. Je kunt trainen weigeren én citeerbaar blijven, zolang je de zoek- en gebruikersbots doorlaat.

Hoe laat je AI-crawlers toe?

Robots.txt is een tekstbestand op de hoofdmap van je website, bereikbaar via jouwwebsite.nl/robots.txt. Per bot (user-agent) staat erin wat wel en niet mag. Een regel die alles toelaat ziet er zo uit:

User-agent: *
Allow: /

Wil je een specifieke AI-bot expliciet welkom heten, dan noem je hem apart:

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Let op: zodra je een bot met zijn eigen naam noemt, volgt hij alleen zijn eigen groep en negeert hij de algemene *-regel. Wil je in die eigen groep bepaalde mappen afschermen, herhaal dan die Disallow-regels.

De eerste stap

Open eerst jouwwebsite.nl/robots.txt in je browser en kijk of er een Disallow-regel staat die AI-bots (of alle bots via *) tegenhoudt. Weet je niet zeker welke bots nu worden geweigerd? Doe de gratis AI-website-check, die laat per AI-crawler zien of hij wordt toegelaten of geblokkeerd.

Welke bots je voor jouw bedrijf precies wilt toelaten, en hoe je dat per systeem doorvoert zonder iets anders te breken, is een afweging op maat. Daar kijk ik graag met je naar mee, bijvoorbeeld in de SEO-training waarin je dit stap voor stap zelf leert doen.