Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
A parer mio anche la prima riga ha poco senso.
Gli spider di default seguono tutto il seguibile (limitatamente alle loro specifiche capacità).
Se invece vogliamo impedire l'indicizzazione di qualcosa è meglio usare il robots.txt.