De meting
Vercel en Merj analyseerden ongeveer 1,3 miljard verzoeken van AI-crawlers. De conclusie is ondubbelzinnig: GPTBot, ClaudeBot, OAI-SearchBot en PerplexityBot voeren geen JavaScript uit. Ze halen de HTML op en lezen wat daarin staat. Meer niet.
Gemini draait op de infrastructuur van Googlebot en rendert wél. Applebot ook. Maar de drie systemen waar je klant het vaakst iets aan vraagt, doen het niet.
Wanneer je hier last van hebt
Niet elke site met JavaScript heeft dit probleem. Het gaat om sites waar de inhoud pas ná het laden door JavaScript wordt opgebouwd.
- Single-page apps in React, Vue of Angular zonder server-side rendering.
- Pagina's waar de tekst uit een API komt die pas in de browser wordt opgehaald.
- Tabbladen, accordeons en "lees meer"-blokken die hun inhoud pas bij een klik inladen.
- Reviews, prijzen of productgegevens die via een widget van een derde partij binnenkomen.
⚠️ Klassieke WordPress-sites, Webflow en statisch gegenereerde sites hebben dit probleem meestal niet — die sturen kant-en-klare HTML.
De test van één minuut
Je hebt geen tool nodig. Open je pagina, klik rechts en kies "paginabron weergeven" — niet "inspecteren", want dat toont de pagina ná het uitvoeren van JavaScript.
Zoek in die broncode naar een zin uit je eigen tekst. Vind je hem, dan zit je goed. Vind je alleen een leeg div-element en een hoop scriptverwijzingen, dan is dat exact wat ChatGPT te zien krijgt.
Het tweede probleem: kapotte links
Uit dezelfde meting komt een cijfer dat nog minder bekend is. Van alle pagina's die ChatGPT probeerde op te halen, eindigde 34,82% op een 404. Bij Claude was dat 34,16%. Bij Googlebot slechts 8,22%.
Meer dan een derde van wat die bots proberen te lezen, bestaat niet. Ze volgen verouderde links, gokken op URL-patronen en komen uit bij pagina's die je jaren geleden hebt verplaatst.
Dat maakt twee saaie dingen ineens belangrijk: een sitemap die klopt, en 301-redirects voor elke URL die ooit bestaan heeft. Voor Google is dat hygiëne. Voor AI-crawlers is het het verschil tussen gevonden worden en niet.
Wat het volume zegt over prioriteit
Ter relativering, uit dezelfde studie: Googlebot doet ongeveer 4,5 miljard ophalingen per maand, GPTBot 569 miljoen en Claude 370 miljoen.
AI-crawlers zijn dus nog een fractie van het verkeer. Maar ze groeien, en het verschil is dat één citatie in een AI-antwoord de enige bron kan zijn die iemand te zien krijgt.
Veelgestelde vragen
- Mijn site draait op WordPress. Heb ik dit probleem?
- Waarschijnlijk niet voor je hoofdtekst. Let wel op onderdelen die via een plugin of extern script binnenkomen — reviewwidgets, boekingsmodules, prijstabellen. Die staan vaak niet in de HTML.
- Kan ik dit oplossen zonder mijn site te herbouwen?
- Vaak wel. Server-side rendering of pre-rendering aanzetten is bij de meeste moderne frameworks een instelling, geen herbouw. Voor losse widgets is de oplossing meestal om de belangrijkste tekst gewoon in de HTML te zetten en de widget als aanvulling te laten.
- Hoe weet ik of mijn oude URL's nog werken?
- Trek de lijst van je geïndexeerde pagina's uit Google Search Console en test ze. Elke URL die ooit publiek was, hoort ofwel te bestaan ofwel netjes door te verwijzen — nooit naar de homepage, altijd naar de dichtstbijzijnde inhoudelijke pagina.
Bronnen
- The rise of the AI crawlerVercel & Merj, ~1,3 miljard verzoeken
Geschreven door
Pieter Herremans
Strategie & klanten bij VIEWS
Pieter voert de gesprekken met zaakvoerders en vertaalt hun cijfers naar een campagne. Wat hier staat komt uit die gesprekken.
Wil je dit voor jouw bedrijf laten werken?
We bekijken je huidige instroom, rekenen door of het rendeert, en zeggen het ook als het niet past.
Ontdek wat mogelijk is voor jouw bedrijf