Googlebot hälsar på - 80 requests i sekunden

Been there done that, MSN SearchBot hade kul på ett av mina förra projekt, tog 2 dag innan vi förstog vad som var fel.. robots.txt är en must-have numera!

Det är ju iofs bra att de kommer på besök, men det blir ju lite mycket ibland.
Jag hade perioden december-februari i genomsnitt över 300mb trafik per dag, bara från google. blir lite jobbigt i längden.

Googlbot/MSNbot dödade mactuellt första natten vi hade sidan uppe. Startade så enormt många connections... Blev tvungen att blocka ip-serien i brandväggen.

Antar att det är det Halvarsson syftar på...

Denna gång kanske det beror på att vi ändrat URL-strukturen för forumet som Google måste omindexera allting?

Men medför inte ändringen i strukturen att Google med flera indexerar _mer_ utav sidan?

(Jag kan ha fått det om bakfoten dock...)

Jag vet inte riktigt vad du menar, jag sa väl inte att Google indexerade mindre?

Vad jag menade var att Googles många anslutningar berodde på att vi lagt om strukturen. Samtliga tusentals gamla länkar till trådar som Google har i sitt index omdirigerar nu till nya URL:er. Det är ju två ändringar, först har vi flyttat upp forumet till rooten på 99mac.se, sen har vi installerat en sökmotorsanpassad plugin som ger denna nya typ av URL:er.

Nej, nej, nej!

Nånstans i bakhuvet så har jag fått för mig att Sökmotorer™ inte är så glada i att indexera sidor som inte har "riktiga" sökvägar. Alltså sidor som har adresser som gojs.se/?q=sida/327, därav uttrycket sökmotorvänliga URL'er.

Därmed så skulle _hela_ forumet bli indexerat, för att allt har "riktiga" sökvägar. Men nu pratar jag emot mig själv, eftersom jag vet att forumet har blivit indexerat även innan.

Som sagt. Det var nog det där med bakfoten.

Bakfoten,framfoten - Same shiet different name

Men du har delvis rätt, forumet var indexerat förut också, men nu får 99mac ännu högre ranking hos google och dylikt med sökmotorvänliga URLs.

Wheii, lite halvrätt i alla fall.

Förut fanns det ett arkiv specialanpassat för Google med statiska url:er så att säga, så du har delvis rätt. (Lite som vår sitemap ser ut idag.)