Tenere sotto controllo vuol dire che (come detto da dechigno) non occupi troppe risorse del server.

Per limitarlo puoi inserire all'interno del tuo file robots.txt
User-agent: slurp Inktomi
Disallow: /

con questa istruzione eviti che lo spider di Yahoo! visiti le tue pagine.

Sul mio sito i bot sono scatenati, google mi occupa 4 giga di banda al mese mentre slurp 400mega.
Ecco l'attività di google:

Ciao vi consiglio di dominare l'accesso degli spider, nel caso fossero troppo invasivi e vi intasino il server, con questo comando del robots.txt:

User-agent: Slurp
Crawl-delay: 600

Per esempio, in questo modo dite a slurp di non fermarsi oltre 600 secondi sul vostro sito...

Grazie per le vostre risposte.
Ora avrei un altro dubbio:

Vorrei acquistare un dominio con URL mask ( o url redirect) in modo da "puntare" al mio blog.
Es: www.superdominio.it/2007/04/21/pagina/ -> terzo.secondo.ext/2007/04/21/pagina/
Facendo questo perderò l'eventuale posizionamento nelle SERP. Le pagine non saranno spostate su un altro dominio, ma ci sarà un redirect.
Come posso fare?

@dechigno said:

Ciao vi consiglio di dominare l'accesso degli spider, nel caso fossero troppo invasivi e vi intasino il server, con questo comando del robots.txt:

Per esempio, in questo modo dite a slurp di non fermarsi oltre 600 secondi sul vostro sito...
Grazie per le esaustive risposte.;)

Vorrei acquistare un dominio con URL mask ( o url redirect) in modo da "puntare" al mio blog.
Es: www.superdominio.it/2007/04/21/pagina/ -> terzo.secondo.ext/2007/04/21/pagina/
Facendo questo perderò l'eventuale posizionamento nelle SERP. Le pagine non saranno spostate su un altro dominio, ma ci sarà un redirect.
Come posso fare?

Grazie

EDIT: Ho sbagliato a postare, non è che mi cancellate il post?

Col redirect 301 o il redirect dei poveri (se utilizzi un server windows), trasferisci tutti i backlink (e quindi la popolarità, compreso il PR) dalle pagine vecchie a quelle nuove.

Il problema è il TR (trustrank) che non passa dal dominio vecchio a quello nuovo e potresti trovare maggiori difficoltà nel posizionare il sito nuovo.

Però, ci vuole tempo, se lavori seriamente e sui contenuti, non sarà poi così difficile recuperare tutte le posizioni.

ciao!

@dechigno said:

                          User-agent: Slurp

Crawl-delay: 600Per esempio, in questo modo dite a slurp di non fermarsi oltre 600 secondi sul vostro sito...

Tutt'altro. La direttiva robots.txt "Crawl-delay" indica l'intervallo minimo in secondi che deve intercorrere fra una richiesta e la successiva da parte di uno stesso bot (in questo caso, Slurp).

http://help.yahoo.com/help/us/ysearch/slurp/slurp-03.html

La direttiva Crawl-delay è attualmente supportata ufficialmente da Slurp, Teoma e MSNBot, ma non da Googlebot.

scusate..... cosa utilizzate per monitorare gli accessi degli spider? thanks

Un normale programma per le statistiche (script) che riconosca (distingua) gli spider e bot dagli utenti "normali".

@valent said:

Un normale programma per le statistiche (script) che riconosca (distingua) gli spider e bot dagli utenti "normali".
beh questo lo avevo capito! volevo sapere precisamente quali programmi consigliate!

@Pastikka said:

Tenere sotto controllo vuol dire che (come detto da dechigno) non occupi troppe risorse del server.

Per limitarlo puoi inserire all'interno del tuo file robots.txt
User-agent: slurp Inktomi
Disallow: /

con questa istruzione eviti che lo spider di Yahoo! visiti le tue pagine.
Anche da me oggi ho è continuo avere circa 50 spiderini di yahoo per il forum. Quanto tempo ci mettono per indicizzarmelo tutto?