Sempre su questo tema ti consiglio anche "[url=http://www.motoricerca.info/robots.phtml]il file robots.txt per il controllo degli spider"