Inktomi slurp invadente

[edo]

Inktomi slurp invadente

Salve,
ho notato dalle statistiche che il bot inktomy slurp passa nel mio sito più del doppio rispetto alla somma di tutti gli altri bot, vorrei sapere cosa può provocare al sito , fatto in html, che accorgimenti si possono prendere e come farli, se possibile spiegarmelo passo passo.
Grazie a tutti.

[ellegi]

@edo said:

Salve,
ho notato dalle statistiche che il bot inktomy slurp passa nel mio sito più del doppio rispetto alla somma di tutti gli altri bot, vorrei sapere cosa può provocare al sito , fatto in html, che accorgimenti si possono prendere e come farli, se possibile spiegarmelo passo passo.
Grazie a tutti.

Ciao edo,
se le pagine sono statiche le prestazioni del sito non dovrebbero decadere molto, ma comunque hai un dispendio di banda e se hai un limite o un costo a traffico potrebbe crearti alla lunga dei problemi.

Sul sito delle faq di inktomi è scritto che se la velocità del crawler è troppo rapida si può inserire queste due righe nel file robots.txt da creare nella directory principale del tuo sito:

User-agent: Slurp
Crawl-delay: 20

(in questo modo indichi con crawl delay il ritardo espresso in secondi tra una richiesta ed un'altra, puoi aumentarlo fino a quanto ti pare)

Se invece vuoi escluderlo del tutto fai:
User-agent: Slurp
Disallow: *

A presto,
Giuseppe Liguori

[edo]

Grazie mille eLLeGi!!!
Ciao

[agh]

@eLLeGi said:

Ciao edo,
se le pagine sono statiche le prestazioni del sito non dovrebbero decadere molto, ma comunque hai un dispendio di banda e se hai un limite o un costo a traffico potrebbe crearti alla lunga dei problemi.

credo di avere un problema simile: mi sono accorto che sul mio forum un sacco di utenti (utenti veri?) proviene in gran parte da un ip che inizia con 74.6... non sono esperto ma sembra che le richieste provengano dall'america cioè Inktomi... è possibile? Questo ha generato nei giorni scorsi un eccesso di traffico che ha determinato il blocco del forum da parte del provider per "uso eccessivo di risorse"

Come faccio, in un forum, a impedire questo?

[redsector]

Esattamente allo stesso modo, agendo sul file robots.txt (che contiene le istruzioni per i motori di ricerca).

Grazie ElleG per l'info che non conoscevo!