01Hvorfor det betyr noe
Robots.txt er en tekstfil på dinside.no/robots.txt som gir søkemotorenes roboter beskjed om hvilke deler av nettstedet de ikke skal hente. Den kan også peke til sitemapet.
Filen styrer crawling, ikke indeksering. En side du sperrer i robots.txt, kan fortsatt dukke opp i søk hvis andre lenker til den, bare uten beskrivelse. Vil du holde en side ute av søk, bruker du noindex på siden, og da må robots.txt la Google hente den slik at noindex blir sett.
For de fleste små bedrifter er en enkel fil som tillater alt og peker til sitemapet nok. Den farligste feilen er en linje som sperrer hele nettstedet. Den blir ofte liggende igjen etter at en ny nettside er utviklet på en testadresse og flyttet over. Sjekk robots.txt hver gang du lanserer en ny nettside.
Robots.txt er heller ikke tilgangskontroll. Alle kan lese filen, og den hindrer ingen i å åpne en adresse.
Vil du se hva filen din sier, skriv inn domenet ditt med /robots.txt bak i nettleseren. Er du i tvil om en linje, viser Search Console om viktige sider er blokkert.
02Vanlig misforståelse
At robots.txt skjuler sider. Den ber crawlere la være å hente dem — den hindrer verken at siden vises i søk eller at folk med lenken kommer inn.
03I praksis
En testversjon av en nettside er sperret i robots.txt, men ligger likevel i søkeresultatene fordi andre sider lenker til den.
Riktig løsning er passord på testversjonen. Da kommer verken folk eller roboter inn, og problemet forsvinner av seg selv.
04Sjekk det selv
Vil du heller ha det gjort for deg? Se hvordan vi jobber med webutvikling.
05Henger sammen med
Trenger du hjelp med digital markedsføring?
Vi går gjennom synligheten din og sender deg tre konkrete funn i klartekst innen én arbeidsdag. Funnene er dine, også hvis vi aldri snakkes igjen.