Msnbot ignora robots.txt e consuma un sacco di banda

[oronzo.cana]

Msnbot ignora robots.txt e consuma un sacco di banda

Nel mio robots.txt ho scritto le seguenti righe di codice :

User-agent: msnbot/2.0b
Crawl-delay: 10

Eppure msnbot continua a ignorarle e a chiedere pagine con frequenze elevate saturandomi la banda e rallentando il sito eccessivamente.

Secondo voi com'è possibile?

[redsector]

Buongiorno oronzo_canà,
io avrei un subbio sull'indicazione specifica dello user agent.
Prova a mettere

User-agent: *
Crawl-delay: 1

Pare che molti stiano soffrendo dello stesso problema.
la (b) di 2.0b sta per... beta
Ho notato che molte persone hanno segnalato il problema al team microsoft, c'è anche uno che ha detto dopo la segnalazione ha visto arrivare sul suo sito query google provenienti dalla ditta di Redmond

[oronzo.cana]

Ok, provo. Se metto 5 dici che è un valore lento anche per Googlebot?

Grazie.

[redsector]

Ma secondo me 1 è sufficiente, non esagererei, anche perché pare non rispettarlo proprio.

[oronzo.cana]

Purtroppo non esagero, ho la banda completamente congestionata e i bot danno un contributo non indifferente a questa situazione.

[redsector]

Oronzo, ricordati le maiuscole e la punteggiatura nei tuoi messaggi.
Detto questo è una valutazione difficile in quanto hai tanto traffico perché te lo portano i motori di ricerca, se tu li limiti potresti perdere anche traffico.
Partirei dall'impostazione 1, ma vedrai che presto correggono il bug.