Eccesso di spider

[claudioweb]

Eccesso di spider

Puoi rallentare il tutto, leggi questo
http://help.yahoo.com/help/us/ysearch/slurp/slurp-03.html

Ciao

[fradefra]

Se la cosa non ti crea problema, lascialo passare.
Yahoo non passa mai abbastanza spesso. Più passa, meglio è, ovviamente se legge le cose giuste.

Sul mio blog fa anche 600 accessi in un giorno. Ovviamente se hai problemi di banda o un limite al traffico massimo, è un'altra cosa.

Per esempio, metti una sitemap e indica la frequenza del passaggio per le pagine che non prevedi di modificare spesso. Questo lo porterà a rallentare almeno su quelle pagine.

[7link88]

@archeoita said:

Da un pò di settimane noto ondate di spiders di Yahoo in alcuni dei miei siti.
Si arriva anche a 80-90 entrate in un forum in quasi contemporanea.
E' una cosa normale?

Si tratta quasi esclusivamente di bots di yahoo, con domini del tipo:

lj5****.crawl.yahoo.net
lj6****.crawl.yahoo.net

il range IP è
74.6.20.XXX
74.6.24.XXX
74.6.25.XXX
74.6.70.XXX
... etc ...

Mi sembrano un pò eccessivamente invasivi questi crawlers.

AI

Stessa cosa su un mio forum, da qualche settimana arrivano ondate di bot yahoo, a volte superano i 100 contemporaneamente.