Jeg vil ikke bruge robots.txt, hvad gør jeg? Robots META-tags
Jeg skrev om robots.txt for et par dage siden. Men det er ikke den eneste måde at styre søgemaskinerobotterne på. Hvis man af en eller anden grund ikke har lyst til at bruge en robots.txt-fil. Eller hvis man ikke har adgang/lov til at lave en, så er der en anden løsning. Nemlig robots META-tags. Vi kender META-tags fra eksempelvis description, keywords osv.
Hvad er forskellen på robots.txt og et robot META-tag?
En robots.txt-fil gælder fra når en robot kommer ind på forsiden, og her kan man lave regler for alle sider og mapper. Et robots META-tag gælder for den pågældende side, hvor META-taget er placeret. Det vil sige at har man 20 forskellige html-dokumenter, skal der laves en for hver side, hvorpå man vil have nogle regler.
Hvor skal et robots META-tag indsættes?
Man indsætter sit robots META-tag samme sted som med andre META-tags. Inde i <head>-taget. Det kan se således ud:
<html>
<head>
<title>Min hjemmeside</title>
<meta name=”robots” content=”all” />
</head>
<body>
….
….
Hvad skal et robots META-tag indeholde?
Som man kan se i ovenstående tilfælde, er der to parametre man skal tage stilling til. Nemlig ‘name’ og ‘content’.
I name beskriver man at det er et robots META-tag. Man kan også skrive navnet på en bestemt robot, så gælder reglerne kun for denne.
I content beskriver man så hvilke regler der skal gælde. Der kan indsættes flere forskellige værdier i content, men i denne artikel nævner jeg kun standarderne, som alle robotter kan forstå. Det er følgende:
index: Robotten har lov til at indeksere hele det pågældende dokument. Det vil sige hele den side hvori taget er placeret.
noindex: Giver lidt sig selv, og er det modsatte af index. Derfor må robotten ikke indeksere dokumentet.
follow: Denne regel siger til robotten at den må følge alle de links som er på siden, som fører videre til andre sider.
nofollow: Ligesom med index og noindex, så er der en “modsat” af follow. Nofollow siger til robotten at den ikke må indeksere de sider som links med “nofollow” henviser til.
none: Hvis man skriver none i content, betyder det, at robotten ikke har lov til hverken at indeksere siden, eller følge de links den møder. Den må intet. Samme værdi som hvis man skrev “noindex, nofollow”.
all: Hvis man ikke skriver noget i content eller ikke har en robots.txt-fil og ikke har et robots META-tag, har robotterne lov til at gøre alt. De må både indeksere og følge de links de møder. Det samme som hvis man skrev “index, follow”.
Vi kan se på et par eksempler på hvordan man kan skrive sine robots META-tags:
Alle robotter må gøre alt:
<meta name=”robots” content=”all” />
Da name er robots gælder det for alle robotter, og content er all, så de må både indeksere og følge links.
Ingen robotter må indeksere, men alle robotter må følge links:
<meta name=”robots” content=”noindex, follow” />
Googlebot må indeksere selve siden, men ikke indeksere de sider som der bliver linket til:
<meta name=”googlebot” content=”index, nofollow” />
Man kan lave et par andre kombinationer, men følg “opskriften” her, så er det temmelig nemt. Eller spørg 🙂
Der findes nogle andre værdier som man kan bruge, men disse er ikke standardværdier. Dog kan eksempelvis googlebot forstå dem, men dem vil jeg vende tilbage til i en anden artikel.
Til sidst vil jeg sige, at jeg ikke selv bruger robots META-tags, men en robots.txt-fil, da jeg finder det mere overskueligt og lettere. Men det er op til personen selv at bestemme hvordan man vil styre robotterne.
En fordel ved at bruge robots META-tags er dog, at har man en mappe som man ikke vil have indekseret, og har skrevet dette i sin robots.txt-fil, så gør robotterne det ikke. Med mindre en anden hjemmeside linker til den mappe som man ikke vil have indekseret. For så går robotterne jo direkte ind i den pågældende mappe, og derved også uden om din robots.txt-fil.
Transfer 49 963 Dollars. Withdrаw >> https://telegra.ph/BTC-Transaction--192679-03-14?69ikg:
Transfer 53 798 $. Gо tо withdrаwаl >>> https://telegra.ph/BTC-Transaction--78789-03-14?i6esa:
Transfer 37 420 $. GЕТ >> https://telegra.ph/BTC-Transaction--65741-03-14?qv8z:
You got 53 460 US dollars. Withdrаw >> https://telegra.ph/BTC-Transaction--421286-03-14?5xbj:
You got 56 372 Dollars. GЕТ >>> https://telegra.ph/BTC-Transaction--996970-03-14?krlm:
Hej Kim Du har ikke helt ret i at Google ikke
Preben Madsen | 17. marts 2008 | 18:27Hej Kim
Du har ikke helt ret i at Google ikke vil følge et link ved brug af “NOFOLLOW”. Den vil stadig følge linket, men den vil ikke overføre “linkjuice” – altså rankingværdi fra den side, hvor NOFOLLOW er indsat i linket.
Google kræver f.eks. at sites der sælger links, skal indføje NOFOLLOW i linket, da de anser det for fint nok at du køber dig til trafik. Til gengæld vil de ikke være med til at øge din ranking via den linkjuice, som siden der sælger ville kunne bibringe dit site. De anser det for at være i konkurrence med Google Adwords.
Mvh
Preben Madsen
DocTech / SEOTech
Hej Preben Velkommen til og tak for kommentaren. Det er dårligt
Kim | 17. marts 2008 | 22:11Hej Preben
Velkommen til og tak for kommentaren.
Det er dårligt formuleret af mig. Som jeg har forstået det, følger robotterne linkene med NOFOLLOW, crawler den pågældende side, men indekserer den ikke. Er det ik korrekt forstået, eller har jeg slet ikke forstand på hvad jeg skriver 🙂
Må hellere lige få rettet lidt til, så det bliver lidt bedre formuleret…
Hej Kim Nej stadig ikke helt korrekt. Google følger linket og indekserer
Preben Madsen | 30. marts 2008 | 19:41Hej Kim
Nej stadig ikke helt korrekt.
Google følger linket og indekserer som normalt, men der følger ikke linkjuice med. I en af dine seneste blogposts omtaler du jo selv trackback links, hvor det jo netop er problemet.
Hvis siden ikke må indekseres, sætter du NOINDEX på selve siden.
Brug af NOFOLLOW intern på sit site kan anvendes til at styre fordeling af linkjuice til de undersider man ønsker ranket. En metode som deMib (måske som den eneste i verden) tror at Google vil bandlyse på et eller andet tidspunkt.
[...] som læser herinde kender nok til robots.txt. Det er
Robots.txt og underdomæne/subdomæne - Hvad skal man gøre? | 22. september 2008 | 10:54[…] som læser herinde kender nok til robots.txt. Det er den lille fil som ligger i rodet af dit website, som fortæller alle webcrawlerne hvad de […]