Googlebot hälsar på - 80 requests i sekunden

Tråden skapades och har fått 11 svar. Det senaste inlägget skrevs .
1

Det är bra att Google indexerar sajterna men det här är väl lite väl mycket trafik? Vi peakade på 80 requests per sekund från Googlebot. Många sajter skulle nog gå ner om dom blev bombade så här.

Jag trodde vi blev bombarderade av någon illvillig rackare

Been there done that, MSN SearchBot hade kul på ett av mina förra projekt, tog 2 dag innan vi förstog vad som var fel.. robots.txt är en must-have numera!

200 MB/dag i tre dagar drog Googlebot hos mig. Sanslöst!

Det är ju iofs bra att de kommer på besök, men det blir ju lite mycket ibland.
Jag hade perioden december-februari i genomsnitt över 300mb trafik per dag, bara från google. blir lite jobbigt i längden.

  • Medlem
  • Sundsvall
  • 2006-06-01 16:19
Ursprungligen av Björnström:

Det är bra att Google indexerar sajterna men det här är väl lite väl mycket trafik? Vi peakade på 80 requests per sekund från Googlebot. Många sajter skulle nog gå ner om dom blev bombade så här.

Jag trodde vi blev bombarderade av någon illvillig rackare

Googlbot/MSNbot dödade mactuellt första natten vi hade sidan uppe. Startade så enormt många connections... Blev tvungen att blocka ip-serien i brandväggen.

Antar att det är det Halvarsson syftar på...

Denna gång kanske det beror på att vi ändrat URL-strukturen för forumet som Google måste omindexera allting?

Ursprungligen av Adrian B:

Denna gång kanske det beror på att vi ändrat URL-strukturen för forumet som Google måste omindexera allting?

Men medför inte ändringen i strukturen att Google med flera indexerar _mer_ utav sidan?

(Jag kan ha fått det om bakfoten dock...)

Jag vet inte riktigt vad du menar, jag sa väl inte att Google indexerade mindre?

Vad jag menade var att Googles många anslutningar berodde på att vi lagt om strukturen. Samtliga tusentals gamla länkar till trådar som Google har i sitt index omdirigerar nu till nya URL:er. Det är ju två ändringar, först har vi flyttat upp forumet till rooten på 99mac.se, sen har vi installerat en sökmotorsanpassad plugin som ger denna nya typ av URL:er.

Ursprungligen av Adrian B:

Jag vet inte riktigt vad du menar, jag sa väl inte att Google indexerade mindre?

Nej, nej, nej!

Nånstans i bakhuvet så har jag fått för mig att Sökmotorer™ inte är så glada i att indexera sidor som inte har "riktiga" sökvägar. Alltså sidor som har adresser som gojs.se/?q=sida/327, därav uttrycket sökmotorvänliga URL'er.

Därmed så skulle _hela_ forumet bli indexerat, för att allt har "riktiga" sökvägar. Men nu pratar jag emot mig själv, eftersom jag vet att forumet har blivit indexerat även innan.

Som sagt. Det var nog det där med bakfoten.

Ursprungligen av irrelogical:

Nej, nej, nej!

Nånstans i bakhuvet så har jag fått för mig att Sökmotorer™ inte är så glada i att indexera sidor som inte har "riktiga" sökvägar. Alltså sidor som har adresser som gojs.se/?q=sida/327, därav uttrycket sökmotorvänliga URL'er.

Därmed så skulle _hela_ forumet bli indexerat, för att allt har "riktiga" sökvägar. Men nu pratar jag emot mig själv, eftersom jag vet att forumet har blivit indexerat även innan.

Som sagt. Det var nog det där med bakfoten.

Bakfoten,framfoten - Same shiet different name

Men du har delvis rätt, forumet var indexerat förut också, men nu får 99mac ännu högre ranking hos google och dylikt med sökmotorvänliga URLs.

Ursprungligen av Joakim Halvarsson:

Men du har delvis rätt, forumet var indexerat förut också, men nu får 99mac ännu högre ranking hos google och dylikt med sökmotorvänliga URLs.

Wheii, lite halvrätt i alla fall.

Förut fanns det ett arkiv specialanpassat för Google med statiska url:er så att säga, så du har delvis rätt. (Lite som vår sitemap ser ut idag.)

1
Bevaka tråden