Hvorfor trenger Robots.txt fil?
Selvfølgelig, det er virkelig flott når søkemotorer ofte gå til nettstedet ditt og indeksere sidene dine, men også alltid vil du finne noen områder som du ikke vil at søkemotorer skal indeksere. Også, hvis du ønsker å spare båndbredde ved å utelukke bilder, stilark og java script fra indeksering, du også kreve at søkemotorer holde seg borte fra dem alle. Videre, hvis du har sensitive eller private data på nettstedet som du rett og slett ikke ønsker å se, dette øyeblikket åpenbart du vil foretrekke at søkemotorer ikke indekserer disse sidene.
Så hvordan å få dette gjort? Robots.txt fil er ditt beste valg som kan fortelle søkemotorene hvilke filer og mapper på ditt nettsted for å unngå. Hva er Robots.txt fil? Egentlig er det en tekstfil som forteller søkemotoredderkopper eller roboter, hvilke deler av nettstedet ditt de kan gå inn og hvilke deler de ikke kan.
Vel, det er et poeng at vi bør vite er robots.txt Filen må settes i rotkatalogen din akkurat som denne prøven. http://www.yourwebsite.com/robots.txt
Hvordan få en Robots.txt fil
For den? enkleste robots.txt-fil, er det to regler. En er user-agent: roboten følgende regel gjelder for. Og den andre er tillat: URL du trenger for å blokkere. Begge disse ledninger er vurdert bare en inngang i filen. Og du kan legge til så mange oppføringer som du ønsker. Dessuten kan du også inkludere flere Forby linjer og flere bruker-agenter i en enkelt oppføring.
Hver seksjon i robots.txt-filen er separat og ikke bygge på tidligere kapitlene. Her er et eksempel:
User-agent: *
Forby: /mappe1 /
User-Agent: Googlebot
Forby: /mappe2 /
Vel, det er også en annen bedre måte å skape en robots.txt-fil. Som er å finne et gratis verktøy for å hjelpe deg, noe som vil spare deg for mye tid. Kanskje du kan prøve Sitemap X som jeg har brukt i lang tid, og synes det er utmerket.
Med dette verktøyet kan du ikke bare få robots.txt-fil lett, men også skape sitemap effektivt. Som webmaster, må du vite kart. En sitemap, også kjent som et nettsted kart, er det bestemt nettside inne en internettside som ofte liste alle nettsidene som definerer nettstedet. Den brukes fordi den rett og slett farbare utformingen av hyperkoblinger som vil gjøre deg i stand til å få til den spesifikke nettsiden du trenger for å finne. Det er også bra for søkemotorer indeksere sidene dine. Anmeldelser