- Home
- Categorie
- La Community Connect.gt
- Tutto sulla Community
- Molti accessi da parte di spider
-
Ciao dechigno,
cosa vuol dire tener sotto controllo slurp?
Lo si può limitare?
-
Tenere sotto controllo vuol dire che (come detto da dechigno) non occupi troppe risorse del server.
Per limitarlo puoi inserire all'interno del tuo file robots.txt
User-agent: slurp Inktomi
Disallow: /con questa istruzione eviti che lo spider di Yahoo! visiti le tue pagine.
-
Sul mio sito i bot sono scatenati, google mi occupa 4 giga di banda al mese mentre slurp 400mega.
Ecco l'attività di google:
-
Ciao vi consiglio di dominare l'accesso degli spider, nel caso fossero troppo invasivi e vi intasino il server, con questo comando del robots.txt:
User-agent: Slurp
Crawl-delay: 600Per esempio, in questo modo dite a slurp di non fermarsi oltre 600 secondi sul vostro sito...
-
Grazie per le vostre risposte.
Ora avrei un altro dubbio:Vorrei acquistare un dominio con URL mask ( o url redirect) in modo da "puntare" al mio blog.
Es: www.superdominio.it/2007/04/21/pagina/ -> terzo.secondo.ext/2007/04/21/pagina/
Facendo questo perderò l'eventuale posizionamento nelle SERP. Le pagine non saranno spostate su un altro dominio, ma ci sarà un redirect.
Come posso fare?
-
@dechigno said:
Ciao vi consiglio di dominare l'accesso degli spider, nel caso fossero troppo invasivi e vi intasino il server, con questo comando del robots.txt:
Per esempio, in questo modo dite a slurp di non fermarsi oltre 600 secondi sul vostro sito...
Grazie per le esaustive risposte.;)
-
Vorrei acquistare un dominio con URL mask ( o url redirect) in modo da "puntare" al mio blog.
Es: www.superdominio.it/2007/04/21/pagina/ -> terzo.secondo.ext/2007/04/21/pagina/
Facendo questo perderò l'eventuale posizionamento nelle SERP. Le pagine non saranno spostate su un altro dominio, ma ci sarà un redirect.
Come posso fare?Grazie
EDIT: Ho sbagliato a postare, non è che mi cancellate il post?
-
Col redirect 301 o il redirect dei poveri (se utilizzi un server windows), trasferisci tutti i backlink (e quindi la popolarità, compreso il PR) dalle pagine vecchie a quelle nuove.
Il problema è il TR (trustrank) che non passa dal dominio vecchio a quello nuovo e potresti trovare maggiori difficoltà nel posizionare il sito nuovo.
Però, ci vuole tempo, se lavori seriamente e sui contenuti, non sarà poi così difficile recuperare tutte le posizioni.
ciao!
-
@dechigno said:
User-agent: Slurp
Crawl-delay: 600Per esempio, in questo modo dite a slurp di non fermarsi oltre 600 secondi sul vostro sito...
Tutt'altro. La direttiva robots.txt "Crawl-delay" indica l'intervallo minimo in secondi che deve intercorrere fra una richiesta e la successiva da parte di uno stesso bot (in questo caso, Slurp).
http://help.yahoo.com/help/us/ysearch/slurp/slurp-03.html
La direttiva Crawl-delay è attualmente supportata ufficialmente da Slurp, Teoma e MSNBot, ma non da Googlebot.
-
scusate..... cosa utilizzate per monitorare gli accessi degli spider? thanks
-
Un normale programma per le statistiche (script) che riconosca (distingua) gli spider e bot dagli utenti "normali".
-
@valent said:
Un normale programma per le statistiche (script) che riconosca (distingua) gli spider e bot dagli utenti "normali".
beh questo lo avevo capito! volevo sapere precisamente quali programmi consigliate!
-
@Pastikka said:
Tenere sotto controllo vuol dire che (come detto da dechigno) non occupi troppe risorse del server.
Per limitarlo puoi inserire all'interno del tuo file robots.txt
User-agent: slurp Inktomi
Disallow: /con questa istruzione eviti che lo spider di Yahoo! visiti le tue pagine.
Anche da me oggi ho è continuo avere circa 50 spiderini di yahoo per il forum. Quanto tempo ci mettono per indicizzarmelo tutto?