Hva er Crawling (webkravling)?

Hvorfor bør du bry deg?

Google har milliarder av nettsider å holde styr på, og bruker automatiske roboter kalt «crawlere» (Googlebot) for å besøke og lese nettsider. Crawling er det første steget: roboten besøker en side, leser innholdet, følger lenker til andre sider, og rapporterer tilbake. Deretter bestemmer Google om siden er god nok til å «indeksere» — altså lagre i databasen. For at Google skal crawle nettsiden din effektivt, trenger du: rask nettside, god internlenking, et sitemap, og en riktig konfigurert robots.txt. Problemer med crawling betyr at Google ikke finner sidene dine — og sider Google ikke finner, kan ikke rangere. Du kan se crawlstatus i Google Search Console, som er et gratis verktøy alle bedriftseiere bør bruke.