Hva er Robots.txt?

Hvorfor bør du bry deg?

Robots.txt er en enkel tekstfil som ligger på roten av nettsiden din (f.eks. ryze.no/robots.txt). Den gir instruksjoner til søkemotorenes «roboter» (crawlere) om hvilke sider de kan besøke. Du kan for eksempel blokkere admin-sider, testsider eller duplikatinnhold fra å bli indeksert. Viktig: robots.txt blokkerer crawling, ikke indeksering. Hvis andre sider lenker til en blokkert side, kan Google fortsatt indeksere den. For å hindre indeksering bruker du noindex-tag i stedet. De fleste bedrifter trenger bare en enkel robots.txt som tillater alt og peker til sitemap-filen. Men feilkonfigurert robots.txt kan gjøre at Google ikke finner innholdet ditt i det hele tatt — noe som er mer vanlig enn du tror, spesielt etter nettside-oppgraderinger.