01Hvorfor det betyr noe
Crawling er når søkemotorens roboter, som Googlebot, besøker og henter sidene dine. Roboten følger lenker fra side til side og fra nettsted til nettsted, og leser det den finner. Crawling er første steg. Først etter at en side er hentet, kan Google vurdere å ta den med i søket.
For at crawlingen skal fungere, må sidene være lenket fra andre sider, ikke være sperret i robots.txt, og svare raskt og uten feil.
På store nettsteder blir crawlebudsjettet et tema: Google bruker bare en viss mengde tid på hvert nettsted. Mange tomme eller dupliserte sider tar av den tiden. Search Console viser hvor ofte Google henter sidene dine, og om det er feil.
For de fleste små bedrifter er crawlebudsjett ikke et problem. Google klarer fint å hente noen hundre sider. Det som oftere går galt, er at viktige sider ikke er lenket fra noen andre sider, at de ligger bak et skjema eller en innlogging, eller at innholdet bare vises etter at tung JavaScript har kjørt.
En enkel test: kan du komme til siden ved å klikke deg fram fra forsiden? Hvis ikke, kan Google ha problemer med det samme.
02Vanlig misforståelse
At Google leser hele nettstedet hver gang. Crawlebudsjettet er begrenset, og tunge, tynne eller ødelagte sider spiser av det.
03I praksis
Et nettsted med tusenvis av filtrerte adresser får de viktigste sidene besøkt sjeldnere enn kalendersider ingen leser. Når filtrene sperres for crawling, får de viktige sidene mer oppmerksomhet.
Sjekk også serverloggene eller gjennomsøkingsstatistikken i Search Console. Der ser du hvilke deler av nettstedet Google bruker tid på.
04Sjekk det selv
Vil du heller ha det gjort for deg? Se hvordan vi jobber med webutvikling.
05Henger sammen med
Trenger du hjelp med digital markedsføring?
Vi går gjennom synligheten din og sender deg tre konkrete funn i klartekst innen én arbeidsdag. Funnene er dine, også hvis vi aldri snakkes igjen.