Yahoo Inktomis sökrobot överbesöker våran site...

Tråden skapades och har fått 11 svar. Det senaste inlägget skrevs .
1

Hej

Vi har en site som har drabbat av ett intressant problem. Yahoo Inktomis sökrobot besöker den hela tiden. I över ett halvår så har det ALLTID varit minst ett besök därifrån. Oavsett tid på dygnet. Som mest var det över 60st besök som kom från dem.

Någon som har något bra sätt för hur man kan få dem att sluta?
Någon annan som har samma problem?

/Martin

Ja, jag har haft samma problem.
Även Google har varit inne och tittat väldigt mycket i perioder, men där kan man ju på ett enkelt sätt kryssa för att de ska ta det lite lugnare (i "Verktyg för webbansvariga").
När de båda varit inne som mest samtidigt har jag inte sett något annat alternativ än att kasta ut yahoo med robots.txt, iallafall tillfälligt.

Ursprungligen av hallgren:

Även Google har varit inne och tittat väldigt mycket i perioder, men där kan man ju på ett enkelt sätt kryssa för att de ska ta det lite lugnare (i "Verktyg för webbansvariga").

Var exakt finns den inställningen? Pratar vi om Google Analytics nu?

Ursprungligen av Mikael E:

Var exakt finns den inställningen? Pratar vi om Google Analytics nu?

Nej, Google Analytics är en annan tjänst. Kika in på Google Webmaster Center och verifiera din webbplats för att sedan få styra lite mer över hur Google ska hantera den.

Tack för tipsen!

Har lekt lite med robot.txt, hoppas att det funkar.

/Martin

Du kan ju sätta upp ett tidsintervall i robots.txt som är lite högre än vanligt, typ:

User-agent: Slurp
Crawl-delay: 500000

Intressant diskussion!

Kollade lite i min logg och filen robot.txt verkar sökas av bl a Googles robot:

Citat:

[Sat Mar 31="31" 11:53:27 2007="2007"] [error] [client 66.249.66.134] File does not exist: /home/nicuuorg/public_html/robots.txt

Jag har ingen robot.txt-fil, bör man ha en sådan - och var kan man hitta mer info hur den ska se ut/konfigureras?

De flesta sökmotorerna kollar alltid först om det finns en fil som heter robots.txt. Där har du skriva hur du vill att sökmotorn ska avläsa webbplatsen. Läs även mer här: Robots Exclusion Standard.

Hej igen

Med vägledning av all information som jag har fått här i forumt så lade jag in följande i robots.txt:

User-agent: Slurp
Crawl-delay: 1000

User-agent: Slurp.so
Crawl-delay: 1000

Och problemet är som bortblåst. Nu besöker dom våra site lika lite som alla andra.
Tack till er alla! Jag kände inte till robots.txt innan.

/Martin

Vad innebär user-agent: Slurp?

  • Medlem
  • Göteborg
  • 2008-05-21 22:12

Slurp är Yahoos sökrobot.

Vi har samma problem på 99.se - Slurp bombarderar vår sajt med jämna mellanrum och kan ha flera hundra spindlar inne samtidigt. Helt galet.

1
Bevaka tråden