Exkludera sökrobotar i webbstatistik

Tråden skapades 2007-11-03 och har fått 3 svar. Det senaste inlägget skrevs 2007-11-08.

1

2007-11-03 17:30

#1

stevenD
Medlem ●
2007-11-03 17:30

Jag bygger en statistikfunktion på en webbsida, men det skräpas ner av en massa sökrobotar som indexerar min sajt. Hur exkluderar man på ett enkelt sätt dem från statistiken?

Sidan är byggd i Java/JSP, och helst skulle jag det första jag gör när ett request kommer in, kolla om det är en sökrobot, och i så fall ignorera requestet för statistikinsamling.

Anmäl Ändra Gilla Svara

2007-11-04 21:15

#2

ninjamac
Medlem ●
Malmö
2007-11-04 21:15

Det finns lite listor på kända robotar - gör en google sökning, så får du filtrera bort träffar från robotar (eller dela statistiken - det är inte så dumt att se hur välbesökt man är av vissa sökrobotar..)

t ex den här listan: http://www.robotstxt.org/wc/active/all.txt

Anmäl Ändra Gilla Svara

2007-11-04 21:19

#3

Taz_1999
Medlem ●
Stockholm
2007-11-04 21:19

Om du inte bara vill radera dem från din statistik, som påpekas ovan bygger på att man vet vilka det är, så kan du även skapa en fil som heter robots.txt som instruerar roboten hur den skall indexera din site, tex inte alls, så kommer de inte med i din sites statistik.

http://www.99.se/utveckling/95048-neka-soekmotors-tilltraede.html?highlight=robots.txt

http://www.99.se/soekmotorer/214351-yahoo-inktomis-soekrobot-oeverbesoeker-varan-site.html?highlight=robots.txt