robots.txt, robots.txt, waarom?Natuurlijk, dit is zeer grote zoekmachines vaak naar uw website en de indexering van je pagina 's, maar ook op het gebied van altijd vind je wat, wil je niet de zoekmachine.Trouwens, als je niet wil, met inbegrip van de beelden door van Java, stijl en scenario 's in een bandbreedte - te redden, je vraagt ook ver weg van alle zoekmachines.Trouwens, als je een gevoelige of privé - gegevens op je website, je hebt geen' niet willen zien, op dit moment, was je favoriete zoekmachines kunnen de index die pagina 's, hoe dit te doen?Robots.txt is je beste optie, het kan dat zoekmachines wat dossiers en documenten op de website, en om dat te voorkomen.Robots.txt is?Het is in feite een tekstbestand, vertel de zoekmachine - of robots, het delen van uw website, kunnen ze die niet in de, uh, een punt dat we moeten weten is robots.txt moet liggen op je wortel zoals dit: HTTP://www.yourwebsite. COM /robot. En, hoe krijgen. Een van robots.txt?,, de meest eenvoudige robots.txt, er zijn twee regels.Een agent is de gebruikers: de volgende regels van toepassing op de robot.En de andere is een toegestaan: je moet voorkomen dat URL 's.Deze twee lijnen worden beschouwd als een document van een vermelding in de.Je kunt nog zoveel vermeldingen, wil je.Bovendien, je kan onder meer een verbod op lijn en multi - User Agent in één enkel project, in robots.txt. Elk deel is onafhankelijk, niet' t bouwen voort op de voorgaande delen.Het is een voorbeeld van: de User Agent: * * * * * * *, Disallow: /folder1 /, bekend als googlebot van kruipend, de User Agent: Disallow: /folder2 /, oké, er is nog een betere methode voor de oprichting van een robots.txt.Dit is het vinden van een instrument om je te helpen, dat je de tijd besparen.Misschien kun je proberen sitemap X, ik heb een lange tijd, en is van mening dat het goed is, en met dit instrument, dat niet alleen kan worden robots.txt eenvoudig en doeltreffend tot de kaart.Als een chef, je moet weten dat de website.Een kaart, ook bekend als een kaart en een specifieke website op een website regelmatig een lijst van alle vastgestelde website.Het is een eenvoudige indeling van de navigatie gebruikt, omdat de banden kunnen krijgen, zal je een specifieke website, je moet vinden.De zoekmachine, is goed.