Ciao dechigno,
cosa vuol dire tener sotto controllo slurp?
Lo si può limitare?

Tenere sotto controllo vuol dire che (come detto da dechigno) non occupi troppe risorse del server.

Per limitarlo puoi inserire all'interno del tuo file robots.txt
User-agent: slurp Inktomi
Disallow: /

con questa istruzione eviti che lo spider di Yahoo! visiti le tue pagine.

Sul mio sito i bot sono scatenati, google mi occupa 4 giga di banda al mese mentre slurp 400mega.
Ecco l'attività di google:

Ciao vi consiglio di dominare l'accesso degli spider, nel caso fossero troppo invasivi e vi intasino il server, con questo comando del robots.txt:

User-agent: Slurp
Crawl-delay: 600

Per esempio, in questo modo dite a slurp di non fermarsi oltre 600 secondi sul vostro sito...

Grazie per le vostre risposte.
Ora avrei un altro dubbio:

Vorrei acquistare un dominio con URL mask ( o url redirect) in modo da "puntare" al mio blog.
Es: www.superdominio.it/2007/04/21/pagina/ -> terzo.secondo.ext/2007/04/21/pagina/
Facendo questo perderò l'eventuale posizionamento nelle SERP. Le pagine non saranno spostate su un altro dominio, ma ci sarà un redirect.
Come posso fare?

@dechigno said:

Ciao vi consiglio di dominare l'accesso degli spider, nel caso fossero troppo invasivi e vi intasino il server, con questo comando del robots.txt:

Per esempio, in questo modo dite a slurp di non fermarsi oltre 600 secondi sul vostro sito...
Grazie per le esaustive risposte.;)

Vorrei acquistare un dominio con URL mask ( o url redirect) in modo da "puntare" al mio blog.
Es: www.superdominio.it/2007/04/21/pagina/ -> terzo.secondo.ext/2007/04/21/pagina/
Facendo questo perderò l'eventuale posizionamento nelle SERP. Le pagine non saranno spostate su un altro dominio, ma ci sarà un redirect.
Come posso fare?

Grazie

EDIT: Ho sbagliato a postare, non è che mi cancellate il post?

Col redirect 301 o il redirect dei poveri (se utilizzi un server windows), trasferisci tutti i backlink (e quindi la popolarità, compreso il PR) dalle pagine vecchie a quelle nuove.

Il problema è il TR (trustrank) che non passa dal dominio vecchio a quello nuovo e potresti trovare maggiori difficoltà nel posizionare il sito nuovo.

Però, ci vuole tempo, se lavori seriamente e sui contenuti, non sarà poi così difficile recuperare tutte le posizioni.

ciao!

@dechigno said:

                          User-agent: Slurp

Crawl-delay: 600Per esempio, in questo modo dite a slurp di non fermarsi oltre 600 secondi sul vostro sito...

Tutt'altro. La direttiva robots.txt "Crawl-delay" indica l'intervallo minimo in secondi che deve intercorrere fra una richiesta e la successiva da parte di uno stesso bot (in questo caso, Slurp).

http://help.yahoo.com/help/us/ysearch/slurp/slurp-03.html

La direttiva Crawl-delay è attualmente supportata ufficialmente da Slurp, Teoma e MSNBot, ma non da Googlebot.

scusate..... cosa utilizzate per monitorare gli accessi degli spider? thanks

Un normale programma per le statistiche (script) che riconosca (distingua) gli spider e bot dagli utenti "normali".

@valent said:

Un normale programma per le statistiche (script) che riconosca (distingua) gli spider e bot dagli utenti "normali".
beh questo lo avevo capito! volevo sapere precisamente quali programmi consigliate!

@Pastikka said:

Tenere sotto controllo vuol dire che (come detto da dechigno) non occupi troppe risorse del server.

Per limitarlo puoi inserire all'interno del tuo file robots.txt
User-agent: slurp Inktomi
Disallow: /

con questa istruzione eviti che lo spider di Yahoo! visiti le tue pagine.
Anche da me oggi ho è continuo avere circa 50 spiderini di yahoo per il forum. Quanto tempo ci mettono per indicizzarmelo tutto?