Quali bots bloccare tramite robots.txt ?

[sandradavidneel]

Quali bots bloccare tramite robots.txt ?

Ciao a tutti,

stavo pensando di bloccare alcuni bots tramite il comando "disallow" nel il file "robots.txt".

Sapreste darmi dei consigli in merito? Avete bloccati uno o più bots, e se si quali?

Grazie!

[sermatica]

Ciao
a mio avviso non ha senso, anche perchè il robots è solo un indicazione che si da ai motori ma in realtà non blocca nulla e non tutti i motori lo rispettano.

[sandradavidneel]

Grazie Sermatica!
Temo che tu abbia ragione. Sto tentando comunque di bloccarne qualcuno per vedere cosa succede.