Leestijd: 2 minuten
De zoekrobots lezen en interpreteren dagelijks jouw webpagina’s, om deze vervolgens te registreren voor de database van de zoekmachine. Dit wordt indexeren genoemd. De indexatie wordt uitgevoerd door een crawler of spider, zoals Googlebot of Bingbot. Het crawl budget is de hoeveelheid pagina’s die de zoekmachine op een dag op jouw website crawlt. Google en Bing bepalen hiermee hoe relevant jouw content is en hoe hoog je in de zoekresultaten komt. Hoe beter jouw website gecrawld wordt, hoe beter je gevonden wordt.
Googlebot of Bingbot komt dagelijks langs om jouw website te crawlen, maar leest en indexeert niet alle pagina’s. Hoe vaak de zoekmachine jouw website crawlt en hoeveel content er tegelijk wordt gecrawld, is afhankelijk van het crawl budget van jouw website. Dit budget is afhankelijk van een aantal factoren, zoals de grootte van jouw website, het aantal links naar jouw website en de snelheid van jouw website.
Hoe vaker jouw website wordt gecrawld, hoe beter. Google bepaalt jouw crawl budget. Met crawl demand wordt aangegeven hoe vaak jouw content wordt geüpdatet en hoe actueel de informatie op jouw website is. Aan de hand hiervan bepaalt de zoekmachine hoe logisch het is om jouw website te crawlen. Op basis van jouw crawl rate wordt bepaald hoeveel jouw server aankan tijdens het crawlen. Ofwel het aantal URL’s dat de zoekmachinespider kan en wil crawlen, zonder dat de website trager wordt.
Een website met een hogere autoriteit en populariteit levert een hoger crawl budget op. Je kunt het crawl budget optimaliseren door te zorgen voor een snelle website, actuele content van goede kwaliteit, relevante inkomende links en een goede linkbuilding. Voorkom het indexeren van dubbele content, filterpagina’s, gebroken links, lege pagina’s of pagina’s zonder waarde, zodat deze niet meetellen bij het bepalen van het crawl budget.
Benieuwd hoe wij jou verder kunnen helpen met jouw online marketing? Neem vrijblijvend contact met ons op.
