Facebook-pikselsporingsbildepunktHopp til hovedinnhold

Teknisk

Hva er Robots.txt?

Robots.txt er en fil som forteller søkemotorer hvilke deler av nettsiden din de har lov til å besøke og hvilke de skal hoppe over.

01Hvorfor det betyr noe

Robots.txt er en tekstfil på dinside.no/robots.txt som gir søkemotorenes roboter beskjed om hvilke deler av nettstedet de ikke skal hente. Den kan også peke til sitemapet.

Filen styrer crawling, ikke indeksering. En side du sperrer i robots.txt, kan fortsatt dukke opp i søk hvis andre lenker til den, bare uten beskrivelse. Vil du holde en side ute av søk, bruker du noindex på siden, og da må robots.txt la Google hente den slik at noindex blir sett.

For de fleste små bedrifter er en enkel fil som tillater alt og peker til sitemapet nok. Den farligste feilen er en linje som sperrer hele nettstedet. Den blir ofte liggende igjen etter at en ny nettside er utviklet på en testadresse og flyttet over. Sjekk robots.txt hver gang du lanserer en ny nettside.

Robots.txt er heller ikke tilgangskontroll. Alle kan lese filen, og den hindrer ingen i å åpne en adresse.

Vil du se hva filen din sier, skriv inn domenet ditt med /robots.txt bak i nettleseren. Er du i tvil om en linje, viser Search Console om viktige sider er blokkert.

02Vanlig misforståelse

At robots.txt skjuler sider. Den ber crawlere la være å hente dem — den hindrer verken at siden vises i søk eller at folk med lenken kommer inn.

03I praksis

En testversjon av en nettside er sperret i robots.txt, men ligger likevel i søkeresultatene fordi andre sider lenker til den.

Riktig løsning er passord på testversjonen. Da kommer verken folk eller roboter inn, og problemet forsvinner av seg selv.

04Sjekk det selv

05Henger sammen med

Trenger du hjelp med digital markedsføring?

Vi går gjennom synligheten din og sender deg tre konkrete funn i klartekst innen én arbeidsdag. Funnene er dine, også hvis vi aldri snakkes igjen.

Få en gratis titt

← Tilbake til ordboken