Crawl

Hvad er crawl, og hvad betyder det for min hjemmesides popularitet?

Crawl er navnet på den funktion, som søgemaskinernes bots eller spiders (edderkopper) udfører. Søgemaskine-bots eller -spiders omtales derfor også nogle gange som “crawlers”. Søgemaskinebots/-spiders crawler (kravler hen over) hjemmesider og deres indhold for at indeksere det. Formålet er at sørge for, at brugerens søgeord resulterer i de mest relevante søgeresultater.

Søgemaskinebots eller -crawlers er en software, der konstant besøger de forskellige sider, kopier indholdet og følger de links, der er linket til siden. Derefter bliver alle ord på siderne – med undtagelse af forholdsord – indekseret i et indeks, hvor information om ordenes placering og hvilke links, der linker til siden, kan findes.

Brugen af crawl og indeksering hjælper søgemaskinerne til at give brugeren præcis det, han eller hun søgte efter. Som indehaver af en hjemmeside er det vigtigt for dig, at netop din side rangerer så højt som muligt i søgeresultaterne. Derfor er et godt forhold til søgemaskinens bots anbefalelsesværdigt. Det gælder om at kende de forudbestemte kriterier, når søgemaskinen crawler hjemmesiderne.

Navnet ”crawl” og ”spiders” og ”web” kan give anledning til en edderkoppeanalogi, som kan give en mindre teknisk forklaring på crawl

Nettet er en edderkops edderkoppenet, og hjemmesiderne er alle de fluer, der er fanget i nettet. Crawl svarer til, at edderkopperne kravler hen over nettet og finder fluerne, som de undersøger – størrelse, type, placering i forhold til andre fluer osv. Typen af fluen og placeringen af denne i nettet noteres – altså indekseringen – og vurderingen af, hvilken flue der er bedst, kan kaldes rangering.

Mens analogien kan hjælpe til forståelsen af crawl, så er det ikke helt præcis sådan alle søgemaskinebots fungerer. Googlebots fungerer nærmere som en browser, der sender en anmodning til en server for en bestemt hjemmeside og downloader derefter det modtagne indhold, som sendes videre til indekseren.

Benytter man sig af SEO, vil ens indhold på hjemmesiden møde søgemaskinernes bots/crawlernes kriterier for en god hjemmeside.

Der kan sættes regler for internettets crawlere

Der findes flere forskellige måde at opsætte regler for crawlerne på. Man kan fx bede crawlerne om at helt at se bort fra en hjemmeside ved at lave en såkaldt “NO INDEX”-regel i hjemmesidens  robots.txt fil, der, som navnet antyder, fortæller internettets robotter, hvad man ønsker, de skal gøre med  hjemmesiden. Ved en NO INDEX-regel i robots.txt fortæller man crawleren, at den skal kravle videre, og at man ikke ønsker hjemmesiden indekseret i fx Google. Dette kan gøres, hvis man er i gang med at lave en ny hjemmeside, og man af en eller anden grund ønsker at arbejde på en “live” version af den, eller hvis man ønsker eksperters eller venners indput til sidens design og indhold inden siden bliver indekseret af Google.

NO INDEX kan også bruges til enkelte sider på en hjemmeside. Det anbefales blandt andet, at man ikke lader sider som cookiepolitik, persondatapolitik, indkøbskurv osv. indeksere.

Det kan også være en god ide at sige nej til crawlere på sider, som man ikke er færdige med at lave indhold på og sider, som har ringe eller slet ingen indhold, fordi de kan være med til at trække helhedsindtrykket af ens hjemmeside ned over for Google.