Soms komt het wel eens voor dat je bepaalde zoekmachines liever niet bij bepaalde bestanden laat komen. Gelukkig kun je met een Robots.txt bestand de toegang weigeren, of juist geven voor zoekrobots. Dit bestand is heel eenvoudig te maken. Je opent het programma Kladblok. Nu tik je:
User-agent: *Met de voorgaande code heb je alle zoekrobots de toegang tot alle pagina's van je website gegeven. Als je dus de wil dat alle pagina's door alle zoekrobots kunnen worden bezichtigt, tik dan deze code, sla het bestand op als robots.txt, en upload het naar je website.
Als je echter enkele pagina's wilt blokkeren, dan moet je ook deze code gebruiken, maar dan een beetje aanpassen. Je moet namelijk op de regel Disallow de pagina zetten die je wilt blokkeren. Je krijgt dan dit:
User-agent: *Nu zorg je ervoor dat alle zoekmachines die deze code serieus nemen, (en dat zijn er veel) pagina.html niet zullen bezoeken, en alle links die daar staan niet zullen volgen. Dit kan handig zijn als je weinig bandbreedte hebt, of als je de pagina privé wilt houden. Gelukkig kun je meer dan een pagina toevoegen. Dit doe je als volgt:
User-agent: *Nu zullen deze 3 pagina's niet bezocht worden door zoekrobots. Je kunt ook alles blokkeren door bij Disallow gewoon een / te tikken. Dan zullen de zoekrobots geen van je pagina's bezoeken. Je kunt ze ook een map ontzeggen door de map te tikken, bijvoorbeeld Disallow: /map/. Dus krijg je:
User-agent: *Om alles te blokkeren. Om een bepaalde map de blokkeren gebruik je:
User-agent: *Misschien wil je wel alleen bepaalde zoekmachines de toegang weigeren. Dat kan ook! Je kunt bijvoorbeeld zeggen dat Google wel bij een map mag, en alle anderen niet. Dat doe je als volgt:
User-agent: googlebotLet op, User-agent: * moet als laatste.
