De LiteSpeed crawler is een ingebouwde tool die automatisch je pagina’s bezoekt en de cache alvast opbouwt, nog voordat een echte bezoeker langskomt. Zo laad je nooit een lege cache voor je neus terwijl een cachepagina net ververst is. In dit artikel lees je wat de crawler doet, hoe je hem instelt in LiteSpeed Cache voor WordPress of in Plesk, en welke instellingen écht verschil maken.
Wat doet de LiteSpeed crawler
Als een pagina niet in de cache staat, moet de server deze bij het eerste bezoek volledig opbouwen. Dat kost tijd en belast je server, zeker als dit precies gebeurt wanneer een cache verloopt. De crawler lost dit op door op de achtergrond, volgens een schema dat jij instelt, alle pagina’s uit je sitemap langs te lopen en de cache alvast te vullen. Bezoekers krijgen daardoor altijd een kant-en-klare, snelle pagina te zien.
De crawler werkt samen met de LSCache-module op de server en de LiteSpeed Cache plugin in WordPress. Zonder deze combinatie heb je geen crawler beschikbaar, dus controleer eerst of je hosting LiteSpeed met LSCache ondersteunt.
Crawler instellen in de LiteSpeed Cache plugin
Ga in WordPress naar LiteSpeed Cache > Crawler. Hier zet je de functie aan met de optie Crawler op On. Vervolgens kun je het aantal gelijktijdige threads instellen; houd dit laag (bijvoorbeeld 1 tot 3) om de server niet te overbelasten tijdens het crawlen. Stel ook een interval in tussen de crawl-runs, bijvoorbeeld elke paar uur, zodat de cache regelmatig wordt ververst zonder continu te draaien.
Op serverniveau moet de crawler-cronjob zijn ingesteld. Dit gebeurt meestal automatisch via de plugin, maar controleer bij twijfel of de cronjob daadwerkelijk draait. Je vindt cronjobs en serverinstellingen terug in je controlepaneel; bij Tandata beheer je dit eenvoudig via Plesk.
Sitemap en uitsluitingen configureren
De crawler gebruikt standaard je XML-sitemap om te weten welke pagina’s bezocht moeten worden. Controleer of het juiste sitemap-adres is ingevuld bij de crawler-instellingen. Heb je meerdere sitemaps, bijvoorbeeld per taal of contenttype, dan kun je deze allemaal toevoegen.
Niet elke pagina hoeft gecrawld te worden. Uitsluitingslijsten zijn handig voor paginatypes die toch niet gecachet worden, zoals het winkelmandje, de kassapagina of een inlogpagina. Door deze uit te sluiten bespaar je crawlcapaciteit voor de pagina’s die er echt toe doen.
Controleer je sitemap
Zorg dat de sitemap actueel is en alle belangrijke pagina’s bevat.
Activeer de crawler
Zet de crawler aan in de LiteSpeed Cache plugin en voeg de sitemap toe.
Stel uitsluitingen in
Sluit dynamische pagina’s zoals winkelmandje en account uit van crawlen.
Kies een rustig interval
Plan de crawl-runs buiten piekuren en met beperkte threads.
Controleer resultaat
Bekijk de cachestatus en laadtijden na een paar crawl-cycli.
Crawler-snelheid en servertijd afstemmen
De crawler kan de server flink belasten als je te veel threads of een te kort interval instelt, vooral op een site met duizenden pagina’s. Begin conservatief: één thread en een ruim interval. Monitor daarna de serverbelasting en laadtijden. Werkt alles stabiel, dan kun je het aantal threads voorzichtig verhogen.
Let ook op de volgorde waarin pagina’s gecrawld worden. Belangrijke pagina’s, zoals de homepage en veelbezochte productpagina’s, wil je als eerste laten verversen. Sommige configuraties laten je prioriteiten instellen, zodat deze pagina’s altijd als eerste aan de beurt zijn.
Heb je nog geen LiteSpeed-hosting en wil je deze functionaliteit gebruiken, kijk dan bij onze webhosting opties. Twijfel je over de overstap vanaf je huidige provider, lees dan meer over overstappen naar Tandata.
Veelgestelde vragen
Werkt de crawler ook zonder de LiteSpeed Cache plugin?
Nee, voor WordPress heb je de plugin nodig om de crawler te configureren en te activeren. Zonder plugin kun je de LSCache-functionaliteit niet aansturen.
Kan de crawler mijn server vertragen?
Bij te veel threads of een te kort interval kan dit gebeuren. Begin daarom met lage instellingen en bouw dit langzaam op terwijl je de serverbelasting in de gaten houdt.
Werkt de crawler ook voor niet-WordPress sites?
De LiteSpeed-crawlerfunctie is specifiek gekoppeld aan de LiteSpeed Cache plugin voor WordPress. Voor andere platforms gelden andere cache-mechanismen.
Moet ik de sitemap handmatig bijwerken?
Meestal wordt de sitemap automatisch gegenereerd en bijgewerkt door je SEO-plugin, dus de crawler gebruikt altijd de actuele lijst met pagina’s.
Waar vind ik meer hulp bij cache-instellingen?
In onze kennisbank staan meer artikelen over caching en serverinstellingen.
Conclusie
De LiteSpeed crawler zorgt ervoor dat je cache altijd gevuld is voordat een bezoeker langskomt, wat zorgt voor consistent snelle laadtijden. Stel de crawler voorzichtig in met een lage threadinstelling, een duidelijke sitemap en de juiste uitsluitingen, en bouw vandaaruit verder op.