zijn, willen we dat onze websites en webpagina 's is zoekmachine.We doen de zoekmachine optimalisatie van de verschillende methoden.Maar we hebben ons niet op de website van de' bepaalde pagina 's van zoekmachines; wil geen robot.We kunnen door het gebruik van noindex richtlijn in de robots.txt.,, wanneer de zoekmachine robot of robot op je website, het eerste van robots.txt.Dit dossier bevat de informatie die moet worden om, wat pagina 's zijn uitgesloten op je website.Aan de andere kant, robots.txt maakt je als een robot die voor de controle van de zoekmachine, en dat betekent ook dat je de zoekmachine kunnen besluiten de voorwaarden van je, kan met behulp van robots.txt opgenomen in de catalogus van de website, zodat wanneer de zoekmachine robot op je website, ze niet' T - Klim niet die zijn opgenomen in de catalogus van de pagina 's.Dat wil echter niet zeggen dat' in robots.txt niet' geen catalogus blz.; T - niveau, van robots.txt is bijna 17 jaar geleden voor de eerste keer met Martin Koster.In de eerste plaats, die destijds door zoekmachines Altavista.Op enig moment, andere zoekmachine begon te gebruiken.In de wereld van vandaag, een' niet het opzetten van een website niet robots.txt als het een zoekmachine optimalisatie van de meest belangrijke aspecten.Zelfs als je het niet' wil niet van je website werd gemist robot van een website, je moet ook op de meest elementaire vorm van botots.txt dossier.Echter, er over het gebruik van robots niet gedwongen. En, zelfs als de meta - robots label kan ook worden gebruikt voor de beperking van de indexering in de zoekmachine je pagina 's, robots.txt methode biedt meer mogelijkheden.Deze methode wordt gebruikt, kan je volledige beperking van de indexering van uw website, en zelfs het delen.Trouwens, je kan ook controle zoekmachine robot kan klimmen op je website, robot kan en' t, robots.txt is een eenvoudige tekst dossier bevat ten minste de code, maar er is genoeg informatie om te weten dat je een robot.Het dossier van de twee belangrijkste sleutelwoorden zijn in de User Agent en verboden.Als je een code van je robots.txt, het is je het uploaden naar je wortels, de server van de noodzakelijke, robots.txt aanpak is de meest verstandige methode zoekmachine optimalisatie, want het is aan de beheerder de volledige controle van de zoekmachine - robot.Als je de website is al in beeld te veel documenten in de vorm van de grafische inhoud, flash, moeilijk op je website die robot.In dit geval, schrijf je een code in de robots.txt uit te sluiten dat de grafische gegevens, meer concentreren op het wachtwoord en de inhoud, die in dit geval, wil je gewoon op je website code en het ontwerp van de prestaties van de test is nuttig, maar niet' wil niet werd geïndexeerd.Trouwens, het kan je helpen de bescherming van uw website van het kwade op rupsbanden, dit is niet bevorderlijk voor de zoekmachine optimalisatie, maar aanzienlijke invloed op je website, de laden.