Steeds meer mensen stellen hun vraag niet aan Google, maar aan ChatGPT, Perplexity of Google’s AI-overzichten. Wil je in die antwoorden aangehaald worden, dan moeten de crawlers van die AI-systemen je website mogen ophalen. Dat regel je in je robots.txt. Hieronder lees je wat AI-crawlers zijn, waarom toegang bepaalt of je meetelt, en hoe je ze toelaat.
Wat zijn AI-crawlers?
Een AI-crawler is een programma dat websites bezoekt namens een AI-systeem. Er zijn twee soorten. De eerste groep haalt content op om taalmodellen te trainen, zoals GPTBot en Google-Extended. De tweede groep haalt content op om een live antwoord te onderbouwen en te citeren, zoals OAI-SearchBot en PerplexityBot. Die tweede groep is de belangrijkste als je gevonden en aangehaald wilt worden.
Anders dan Googlebot voeren deze crawlers meestal geen JavaScript uit. Ze lezen de kale broncode. Daarom is het niet alleen belangrijk dat ze binnen mogen, maar ook dat je content al in de HTML staat.
Waarom toegang bepaalt of je meetelt
Een AI-zoekmachine kan je alleen aanhalen als hij je pagina heeft mogen ophalen. Staat er in je robots.txt een blokkade voor de bot, dan besta je voor dat systeem simpelweg niet, hoe goed je content ook is. Toegang is dus de eerste, harde voorwaarde. Al het andere (heldere koppen, structured data, sterke antwoorden) doet er pas toe als de bot binnen mag.
Een veelgemaakte fout: iemand blokkeert GPTBot “tegen AI-scraping” en sluit daarmee onbedoeld ook de citatie in ChatGPT uit. Je kunt trainen weigeren én citeerbaar blijven, zolang je de zoek- en antwoord-bots doorlaat.
Hoe laat je AI-crawlers toe?
Robots.txt is een tekstbestand op de hoofdmap van je website, bereikbaar via jouwsite.nl/robots.txt. Per bot (user-agent) staat erin wat wel en niet mag. Een regel die alles toelaat ziet er zo uit:
User-agent: *
Allow: /Wil je een specifieke AI-bot expliciet welkom heten, dan noem je hem apart:
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Let op: zodra je een bot met zijn eigen naam noemt, volgt hij alleen zijn eigen groep en negeert hij de algemene *-regel. Wil je in die eigen groep bepaalde mappen afschermen, herhaal dan die Disallow-regels.
De eerste stap
Open eerst jouwsite.nl/robots.txt in je browser en kijk of er een Disallow-regel staat die AI-bots (of alle bots via *) tegenhoudt. Weet je niet zeker welke bots nu worden geweigerd? Doe de gratis AI-website-check, die laat per AI-crawler zien of hij wordt toegelaten of geblokkeerd.
Welke bots je voor jouw bedrijf precies wilt toelaten, en hoe je dat per systeem doorvoert zonder iets anders te breken, is een afweging op maat. Daar kijk ik graag met je naar mee, bijvoorbeeld in de SEO-training waarin je dit stap voor stap zelf leert doen.
Veelgestelde vragen
De bekendste zijn GPTBot en OAI-SearchBot van OpenAI (ChatGPT), PerplexityBot van Perplexity, ClaudeBot van Anthropic en Google-Extended van Google. De ene groep haalt content op om modellen te trainen, de andere om live antwoorden te onderbouwen en te citeren.
Voor citeerbaarheid tellen vooral de zoek- en antwoord-bots (zoals OAI-SearchBot en PerplexityBot). Je kunt trainings-bots weren en toch citeerbaar blijven. Welke afweging bij jouw situatie past, hangt af van hoe je met je content om wilt gaan.
Dat gebeurt vaker dan je denkt. Een brede regel als Disallow: / voor User-agent: * sluit alles buiten, en veel plugins of hosters zetten standaard blokkades. Doe daarom de gratis AI-website-check om te zien welke bots nu worden tegengehouden.