Hva er Robots.txt?

Robots.txt er en enkel tekstfil som ligger på roten av nettsiden din (f.eks. ryze.no/robots.txt). Den gir instruksjoner til søkemotorenes «roboter» (crawlere) om hvilke sider de kan besøke. Du kan for eksempel blokkere admin-sider, testsider eller duplikatinnhold fra å bli indeksert. Viktig: robots.txt blokkerer crawling, ikke indeksering. Hvis andre sider lenker til en blokkert side, kan Google fortsatt indeksere den. For å hindre indeksering bruker du noindex-tag i stedet. De fleste bedrifter trenger bare en enkel robots.txt som tillater alt og peker til sitemap-filen. Men feilkonfigurert robots.txt kan gjøre at Google ikke finner innholdet ditt i det hele tatt — noe som er mer vanlig enn du tror, spesielt etter nettside-oppgraderinger.

At robots.txt skjuler sider. Den ber crawlere la være å hente dem — den hindrer verken at siden vises i søk eller at folk med lenken kommer inn.

En testversjon ble sperret i robots.txt, men lå fortsatt i søkeresultatene fordi andre sider lenket til den.

• Sitemap (nettstedskart)
• Crawling (webkravling)
• Indeksering