Leestijd: 2 minuten
Een robots.txt bestand is een tekstbestand, dat aan zoekmachinerobots duidelijk maakt welke delen van jouw website ze wel of niet mogen doorzoeken en indexeren. Dit bestandje met instructies staat in de hoofdmap (root) van je website. Met robots.txt bestanden voorkom je dat specifieke pagina’s worden weergegeven in de zoekresultaten. Je wilt bijvoorbeeld dat de crawlers (spiders) van Google of Bing dubbele content negeren, privéinformatie niet in de registratie en indexering meenemen of elementen uitsluiten die de laadtijd van jouw webpagina’s onnodig vertragen.
Met het gebruik van robots.txt bestanden worden er geen onnodige, ongewenste pagina’s gecrawld. Pagina’s die niet in de zoekresultaten hoeven te verschijnen en géén crawl budget (de hoeveelheid pagina’s die de zoekmachine op een dag op jouw website crawlt) opslokken. De instructies in de tekstbestandjes worden bijna altijd door Googlebot of Bingbot opgevolgd. De zoekmachines negeren alleen jouw robots.txt bestanden als ze irrelevant zijn. Dit komt slechts incidenteel voor.
De belangrijkste instructies die bij robots.txt worden gebruikt, zijn user-agent, disallow en allow. De user-agent tag geeft aan voor welke zoekmachine de instructie bedoeld is. Bij een asterisk-code (*) geldt de instructie voor de crawlers van alle zoekmachines. Bij de vermelding ‘Googlebot’ alleen voor Google. Met de instructies allow en disallow geef je de zoekmachine wel of geen toestemming tot bepaalde delen van jouw website. Bij disallow wordt de pagina niet gecrawld en geïndexeerd, tenzij er een backlink naar deze pagina op jouw website vindbaar is.
Het gebruik van robots.txt bestanden is een belangrijk onderdeel van je technische SEO. Je wilt bij de zoekmachineoptimalisatie dat alleen de pagina’s met een hoge waarde worden geïndexeerd, die relevant zijn voor jouw bezoekers c.q. doelgroep. Als je geen robots.txt bestand gebruikt, zal Google of Bing alle webpagina’s proberen te indexeren, ook de irrelevante.
Benieuwd hoe wij jou verder kunnen helpen met jouw online marketing? Neem vrijblijvend contact met ons op.
