Googlebot is de webcrawler (ook wel spider of bot) van Google die het internet afscant om webpagina’s te ontdekken, te lezen en toe te voegen aan de zoekindex. Zonder Googlebot verschijnt je website niet in de zoekresultaten van Google.
Hoe werkt Googlebot?
Googlebot volgt een continu proces:
- Ontdekken — Googlebot vindt nieuwe pagina’s via links op andere websites, je sitemap of eerder bezochte pagina’s.
- Crawlen — de bot bezoekt de pagina en leest de HTML, CSS en JavaScript.
- Renderen — Googlebot voert JavaScript uit om te zien hoe de pagina er voor een bezoeker uitziet.
- Indexeren — de inhoud wordt geanalyseerd en opgeslagen in Google’s zoekindex.
Googlebot crawlt je site niet constant. Hoeveel en hoe vaak hangt af van je crawlbudget — de hoeveelheid aandacht die Google aan je site besteedt.
Googlebot en je WordPress website
Een goed ingerichte WordPress website is standaard toegankelijk voor Googlebot. Maar er zijn een paar punten die aandacht vragen:
- Robots.txt — dit bestand vertelt Googlebot welke delen van je site niet gecrawld moeten worden. WordPress genereert dit automatisch.
- Sitemap — een XML-sitemap geeft Googlebot een overzicht van al je pagina’s. SEO-plugins als Yoast genereren deze automatisch.
- Laadsnelheid — Googlebot heeft een beperkt crawlbudget. Snelle pagina’s worden efficienter gecrawld. Browser cache en caching-plugins helpen.
- Interne links — een goede interne linkstructuur met beschrijvende anchor teksten helpt Googlebot alle pagina’s te vinden.
- Redirects — correcte 301-redirects zorgen dat Googlebot doorgestuurd wordt naar de juiste pagina zonder crawlbudget te verspillen.
Googlebot blokkeren of sturen
Soms wil je bepaalde pagina’s uitsluiten van Google:
- Noindex — een meta-tag die zegt: “Crawl deze pagina wel, maar neem hem niet op in de zoekresultaten.”
- Robots.txt — blokkeert het crawlen volledig. Gebruik dit voor admin-pagina’s of testomgevingen.
- Canonical tag — vertelt Googlebot welke versie van een pagina de voorkeur heeft bij dubbele content.
Googlebot in je logbestanden
In je serverlogboeken kun je zien wanneer Googlebot je site bezoekt. Zijn user-agent begint altijd met Googlebot. Via Google Search Console — de gratis tool van Google — zie je precies welke pagina’s zijn gecrawld, welke fouten Googlebot tegenkwam en hoe je site presteert in de zoekresultaten.
Controleer regelmatig of Googlebot je belangrijkste pagina’s kan bereiken. Dat is de basis van goede SEO.