robots.txt: wat het regelt en wanneer het je site blokkeert

Kort antwoord

robots.txt zegt crawlers welke delen van een site ze niet hoeven op te halen. Gecontroleerd op 10 november 2026, volgens de documentatie van Google.

Wat Google zegt

• Het bestand geldt voor één host, protocol en poort: "The rules listed in the robots.txt file apply only to the host, protocol, and port number where the robots.txt file is hosted." Een subdomein heeft dus een eigen bestand nodig.
• Het hoort in de hoofdmap: "Crawlers don't check for robots.txt files in subdirectories."
• Google behandelt 4xx-fouten, behalve 429, alsof er geen geldig robots.txt is.
• "Use robots.txt only for pages or resources that you don't want to appear on Google for the long run."

Wat betekent dit voor je website

Controleer na oplevering dat je geen belangrijke pagina's blokkeert. Een Website van darioa (€149 excl. btw, €60 per jaar) heeft Google-gegevens, sitemap en paginatitels ingericht. Lees ook canonical en noindex uitgelegd, nieuwe website niet in Google en de prijzenpagina.