- Home
- Categorie
- La Community Connect.gt
- News Ufficiali da Connect.gt
- Yahoo troppo invasivo?
-
Yahoo troppo invasivo?
A proposito di Slurp, stiamo avendo un sacco di richieste da questo crawler ed ho il sospetto che possa causare dei problemi di performance. Ho inserito nel file roboto.txt un delay di 20 secondi ma non sembra che abbia risolto granchè.
Qualcuno ha qualche esperienza in merito? Nessun problema dal crawler di Yahoo?
-
Hai gia' letto questo thread?
giorgiotave.it/forum/posizionamento-nei-motori-di-ricerca/77761-invasione-di-yahoo-bots.html
-
@mister.jinx said:
Hai gia' letto questo thread?
Ciao mister jinx, l'ho letto.. mi conferma quanto sto osservando sul nostro server.. però non ci sono conclusioni. Navigando in qua e in là ho trovato che molte persone stanno "subendo" queste visite che possono causare problemi a determinate architetture. Ad agravare molto la situazione c'è il fatto che sembra che il bot di Yahoo non risponda ai comandi delay dello standard robot.txt. So che è strano, ma c'è anche chi sta bannando gli IP di yahoo!
Nessuno ha esperienze in merito?
-
Volendo, puoi limitare Slurp, cosi:
giorgiotave.it/forum/posizionamento-nei-motori-di-ricerca/37690-molti-accessi-da-parte-di-spider.html#post261872
-
@mister.jinx said:
Volendo, puoi limitare Slurp, cosi:
giorgiotave.it/forum/posizionamento-nei-motori-di-ricerca/37690-molti-accessi-da-parte-di-spider.html#post261872
Ciao, ho già fatto quanto riportato nel thread ma il problema è proprio che Slurp non sembra rispettare il file robot.txt.
