ho avuto e anzi ho ancora un problema analogo con lo spider di inktomi/yahoo, a un certo punto creava talmente tanti accessi che il provider mi ha segato il forum per traffico eccessivo
La prima volta ho risolto con il file robots.txt ma poi, non so perché, ha iniziato di nuovo (non ho toccato il file robots.txt) ed ho dovuto bloccare il range di iP.
Qualcuno mi ha detto che si può configurare il file robots.txt in modo che acceda per pochi secondi, ma non so se può essere una soluzione... attualmente il file robots.txt è
User-agent: slurp
Disallow: /
E' sufficiente? E perché non blocca più lo spider slurp come prima?