Exkludera sökrobotar i webbstatistik

Tråden skapades och har fått 3 svar. Det senaste inlägget skrevs .
1

Jag bygger en statistikfunktion på en webbsida, men det skräpas ner av en massa sökrobotar som indexerar min sajt. Hur exkluderar man på ett enkelt sätt dem från statistiken?

Sidan är byggd i Java/JSP, och helst skulle jag det första jag gör när ett request kommer in, kolla om det är en sökrobot, och i så fall ignorera requestet för statistikinsamling.

Det finns lite listor på kända robotar - gör en google sökning, så får du filtrera bort träffar från robotar (eller dela statistiken - det är inte så dumt att se hur välbesökt man är av vissa sökrobotar..)

t ex den här listan: http://www.robotstxt.org/wc/active/all.txt

Om du inte bara vill radera dem från din statistik, som påpekas ovan bygger på att man vet vilka det är, så kan du även skapa en fil som heter robots.txt som instruerar roboten hur den skall indexera din site, tex inte alls, så kommer de inte med i din sites statistik.

http://www.99.se/utveckling/95048-neka-soekmotors-tilltraede.html?highlight=robots.txt

http://www.99.se/soekmotorer/214351-yahoo-inktomis-soekrobot-oeverbesoeker-varan-site.html?highlight=robots.txt

  • Medlem
  • Mölndal
  • 2007-11-08 22:59

Vilket även får till följd att din site inte går att hitta via sökmotorer särskilt bra.

1
Bevaka tråden