Robots.txt is een tekstbestand in de hoofdmap van uw website dat zoekmachines vertelt welke delen ze mogen crawlen. Een juist ingestelde robots.txt voorkomt dat Google tijd verspilt aan onbelangrijke pagina’s zoals de adminomgeving of zoekresultaten, en zorgt dat uw echte content prioriteit krijgt. Hieronder leest u hoe u het bestand zelf aanmaakt, test en aanpast.
Wat doet robots.txt en wat niet
Robots.txt geeft crawlers richtlijnen over welke mappen en pagina’s ze mogen bezoeken. Het is vooral nuttig om crawlbudget te sturen naar belangrijke content en om zoekmachines weg te houden van admin-mappen, filterpagina’s of interne zoekresultaten. Wat het bestand niet doet: content écht verbergen. Een pagina die u met Disallow blokkeert, kan soms toch in zoekresultaten verschijnen als er elders naar gelinkt wordt, alleen zonder omschrijving. Voor pagina’s die absoluut niet geïndexeerd mogen worden, gebruikt u een noindex meta-tag in plaats van (of naast) robots.txt.
Robots.txt aanmaken in WordPress
Voordat u begint, controleer eerst of WordPress zelf geen indexering blokkeert. Daarna maakt u het bestand handmatig aan voor volledige controle.
Controleer zichtbaarheidsinstelling
Ga naar Instellingen → Lezen in het WordPress-dashboard en zorg dat ‘Zoekmachines mogen deze website niet indexeren’ uitgeschakeld staat.
Open bestandsbeheer
Log in op uw hostingaccount en open bestandsbeheer of een SFTP-verbinding. Navigeer naar de public_html-map, de hoofdmap van uw website.
Maak robots.txt aan
Maak een nieuw tekstbestand met de exacte naam robots.txt, zonder extra extensie, en plaats het in de hoofdmap.
Voeg regels toe en sla op
Plak de gewenste configuratie (zie voorbeelden hieronder) in het bestand en sla het op.
Controleer het resultaat
Open uwsite.nl/robots.txt in de browser om te checken of het bestand correct zichtbaar is.
Praktische voorbeelden
Een eenvoudige, veilige basisconfiguratie voor de meeste WordPress-sites:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /?s=
Disallow: /trackback/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Sitemap: https://uwsite.nl/sitemap.xml
Toelichting op de belangrijkste regels:
Disallow: /wp-admin/ blokkeert het adminpaneel, maar Allow: /wp-admin/admin-ajax.php houdt een bestand toegankelijk dat veel plugins en thema’s nodig hebben om correct te functioneren. Disallow: /?s= voorkomt dat interne zoekresultaten als duplicaten worden geïndexeerd. Allow: /wp-content/uploads/ zorgt dat afbeeldingen gewoon vindbaar blijven in Google Afbeeldingen. De Sitemap-regel verwijst crawlers naar uw XML-sitemap zodat ze nieuwe content sneller vinden. Vermijd het blokkeren van /wp-content/plugins/ of hele themamappen, want sommige CSS- en JS-bestanden daarin zijn nodig om pagina’s correct te renderen voor Google.
Testen en controleren
Controleer na elke aanpassing of het bestand werkt zoals bedoeld. Open de URL van uw robots.txt direct in de browser en lees de inhoud na. Gebruik daarnaast Google Search Console om te zien of belangrijke pagina’s daadwerkelijk worden gecrawld en of er geen onbedoelde blokkades optreden. Controleer regelmatig, vooral na het installeren van nieuwe plugins, het wijzigen van permalinks of het aanpassen van uw sitemap, of de regels nog kloppen. Voor vragen over serverinstellingen of Plesk kunt u altijd terecht in de kennisbank van Tandata.
Veelgestelde vragen
Kan ik met robots.txt content volledig verbergen voor Google?
Nee, robots.txt blokkeert crawlers maar verbergt content niet volledig. Gebruik voor echt gevoelige informatie HTTP-authenticatie of een noindex meta-tag.
Heeft WordPress standaard al een robots.txt?
Als er geen eigen bestand aanwezig is, genereert WordPress automatisch een eenvoudige versie. Een handmatig bestand geeft u echter volledige controle.
Moet ik robots.txt vaak bijwerken?
Niet continu, maar controleer het wel na grote wijzigingen aan uw site, zoals nieuwe plugins, een andere sitemap of structuurwijzigingen.
Blokkeert robots.txt ook mijn e-mail of andere diensten?
Nee, robots.txt heeft alleen invloed op webcrawlers van uw website. Instellingen voor zakelijke e-mail staan hier volledig los van.
Werkt robots.txt hetzelfde bij een nieuw domein?
Ja, het principe blijft gelijk. Bij het registreren van domeinnamen of bij het verhuizen via overstappen naar Tandata maakt u simpelweg opnieuw een robots.txt aan in de hoofdmap.
Conclusie
Een correct ingestelde robots.txt helpt zoekmachines efficiënt crawlen en beschermt niet-publieke onderdelen van uw WordPress-site tegen onnodige indexering. Begin met een eenvoudige, veilige basisconfiguratie, controleer het resultaat in de browser en Search Console, en pas de regels aan naarmate uw site verandert.