, vi ønsker alle, at vores websteder og websider indekseres af søgemaskiner.vi gør det af forskellige metoder til søgemaskine optimering.der er dog visse websteder på vores websted, hvilket vi ikke ' t have søgemaskine robotter til at kravle.vi kan gøre dette ved at anvende den noindex direktiv i robots.txt fil.,, når en søgemaskine robot eller bot kravler ind i din hjemmeside, det ser ud til robots.txt fil.dette dokument indeholder oplysninger om, hvilke sider at kravlede og hvilke udelukkes på din hjemmeside.med andre ord, robots.txt fil giver dig som en webmaster at kontrollere søgemaskine robotter, hvilket også betyder, at man kan styre dit forhold til søgemaskinen. kan man bruge robots.txt fil til også at omfatte sider i noindex fortegnelse, så da søgemaskine robotter kryber ind i din hjemmeside, vil de ' ikke kravle ind på websteder, der er opført i nr. index register.dette er ' t betyder, at siderne i nr. indeks adresseregister for robots.txt fil er ' t rang for nøgleord. robots.txt fil blev først anvendt af martin, koster næsten 17 år siden.til at begynde med, det var populariserede så søgemaskine altavista.på ingen tid, den anden søgemaskiner også begyndte at bruge den.i dag og' s verden, kan man ikke lave en hjemmeside, uden robots.txt fil, da det er et af de vigtigste aspekter af søgemaskine optimering.selv om du ikke ' t have nogle sider fra dit sted at være gået glip af den robot, du bør omfatte botots.txt fil i sin mest grundlæggende form.der er imidlertid ingen tvang på brugen af robotter. txt. selvom meta - robotter mærke, kan også anvendes til at begrænse indekseringen af dine sider i søgemaskiner, robots.txt metode giver meget mere funktionalitet.ved hjælp af denne metode, kan du helt begrænse indekseringen af deres websted eller endda gøre det delvist.ud over det, kan du også kontrol som søgemaskine botter kan kravle ind i din hjemmeside, og som robotter kan ' t, robots.txt er en enkel tekst fil, der indeholder en kodificering, men har nok oplysninger til robotter til at forstå deres instrukser.de to vigtigste nøgleord i denne sag er bruger - og forbud.når du har din robots.txt kodede fil, det er nødvendigt for dem at uploade det på den grundlæggende del af informationssamfundet. robots.txt metode er en af de anbefalede metoder til søgemaskine optimering, for det giver webmaster fuldstændig kontrol over søgemaskine botter.i tilfælde af, at deres websted har for meget grafisk indhold i form af image filer, flash filer osv. det bliver vanskeligt for robotter til at kravle på din hjemmeside.i sådanne tilfælde kan du skrive en kode i den robots.txt fil at udelukke sådanne grafisk filer og koncentrere sig mere om de nøgleord og indhold. det er også nyttigt i situationer, hvor du vil bare undersøge ydeevnen af din hjemmeside efter at designe og kodning, men ikke ' ikke ønsker, at det skal være indekseret af søgemaskiner.desuden er det også hjælper med at beskytte din hjemmeside fra den onde spind larve, som på ingen måde er nyttigt for søgemaskine optimering, men dårligt påvirker lastning gange din hjemmeside.