@Gamesrulez.com said:

sono yahoo slurp spider.........che cosa significa? non è buono?

Ciao, occhio che se pagi la banda a consumo potresti avere amare sorprese.
Slurp a volte fa di questi scherzi, a un mio cliente in un giorno ha preso 4,5 GIGA di banda, ha praticamente messo in ginocchio il server.
Slurp sembra entrare in loop con certi tipi di pagine...

Soluzione? Un bel robots.txt con direttiva:
User-agent: Slurp
Crawl-delay: 600 #ovvero i secondi che credi#

More info: http://help.yahoo.com/help/us/ysearch/slurp/slurp-03.html

Ciao.

no no ho banda illimitata quindi non mi crea problema, volevo sapere il perchè dell'assalto di ben 540 spider, e se è una cosa buona o no

User-agent: Slurp
Crawl-delay: 600 #ovvero i secondi che credi#

interessante, non conoscevo affatto questa possibilità!

è utile?
quale pensi possa essere un tempo ragionevole da impostare?

@Gamesrulez.com said:

no no ho banda illimitata quindi non mi crea problema, volevo sapere il perchè dell'assalto di ben 540 spider, e se è una cosa buona o no

Buona è una parola impegnativa... in questo caso non direi proprio. Se il bot ti fa 100 richieste al secondo oltre alla banda ci saranno ripercussioni sulle prestazioni del server, con un accodamento delle richieste degli utenti reali. Quelle poche volte che ho visto situazioni simili ho notato rallentamenti molto evidenti nell'evasione delle richieste e nella navigazione.
Il perchè succede è difficile da dire, in quei pochi casi che ho osservato le chiamate del bot riguardavano esclusivamente alcuni tipi di pagine, come se slurp si fosse fissato con quelle: chiamava e richiamava solo loro e basta.

@fello
E' utile, risolve la situazione.
Tempi? Quelli che vuoi, anche 6000. Normalmente lo trovi impostato a 60 o 120, in questo caso metterei 600= 10 minuti.

Ciao

@pieropan said:

Soluzione? Un bel robots.txt con direttiva:
User-agent: Slurp
Crawl-delay: 600 #ovvero i secondi che credi#

More info: http://help.yahoo.com/help/us/ysearch/slurp/slurp-03.html

Azz...e che bello conoscere sempre nuove cose

Senti Pieropan, questi indicazioni esistono anche per altri spider? (Così faccio un piccolo post :)).

Infatti anche MSNBot...genera di questi problemi: MSNbot un utente troppo invadente

Grazie

@Giorgiotave said:

Azz...e che bello conoscere sempre nuove cose

Senti Pieropan, questi indicazioni esistono anche per altri spider? (Così faccio un piccolo post :)).
La direttiva robots.txt Crawl-Delay è attualmente supportata da Slurp, MSNBot e Teoma.

Ne aveva parlato un certo ArkaneFactors mesi fa...

ecco stà succedendo ancora, gli sto antipatico forse

Quoto Everfluxx.
Googlebot non accetta la direttiva Crawl-delay, ma che io sappia non va nemmeno in pappa facilmente come gli altri bot, e quindi il problema non si pone.

Ciao.

Se Slurp va in loop su certi URL, provate a segnalare il problema a Yahoo!, così magari lo risolvono.

@Everfluxx said:

La direttiva robots.txt Crawl-Delay è attualmente supportata da Slurp, MSNBot e Teoma.

Ne aveva parlato un certo ArkaneFactors mesi fa...

Sto invecchiando molto, echecavolononèbellofarsisfuggirecertithread