neka sökmotors tillträde

Tråden skapades och har fått 4 svar. Det senaste inlägget skrevs .
1

Man kan ju skapa en fil 'robots.txt' som instruerar sökmotorerna vilka filer och mappar som ska lämnas oindexerade. När har man glädje av detta?
Jag håller på å sätta upp en site med tillhörande webshop och funderar om jag borde hindra sökmotorerna att indexera tex adminfilerna eller om det tvärtom är bra för sitens placering på tex google att även de sidorna indexeras.

Vad har ni era robots.txt filer till? Har nånna alls fresten?

  • Medlem
  • Karlstad
  • 2006-03-14 15:30

En sökrobot uppför sig som en webbläsare;
Den kommer inte in i admin-mapparna om dom är lösenordsblockerade, vilket dom troligen är.
Så du kan alltså inte styra detta med robots.txt.
Jo, ibland har jag "nånna alls".

Ursprungligen av Danne V:

En sökrobot uppför sig som en webbläsare;
Den kommer inte in i admin-mapparna om dom är lösenordsblockerade, vilket dom troligen är.
Så du kan alltså inte styra detta med robots.txt.
Jo, ibland har jag "nånna alls".

när har du sånna nånna då?

  • Medlem
  • Karlstad
  • 2006-03-14 15:44
Ursprungligen av David Slättne:

när har du sånna nånna då?

För att t.ex. se till att inte indexera dokument och annat jag laddat upp till servern för att kunder ska kunna ladda ner, eller för att ordna indexering av sidor som jag bara länkat till med javascript...

Om du inte har adminsidorna skyddade på ett eller annat sätt så bör ju göra det.
När en bot kommer in på sajten läser den av alla länkar och följer dem och följer länkarna på de länkade sidorna o.s.v. Som Danne V säger så är sökmotorboten en vanlig webbläsare och kommer inte åt sidor som är skyddade.

Du kan använda en robots.txt för att ta ur sidor ur sökmotorns index, det fungerar fint för mig i alla fall!

1
Bevaka tråden