Perdonatemi ragazzi, ma è il contrario di quello che dite.
L'indicazione disallow nel robots.txt è un indicazione che non impedisce l'indicizzazione
Anche se Google non eseguirà la scansione o l'indicizzazione dei contenuti delle pagine bloccate dal file robots.txt, potrà comunque indicizzare gli URL trovati su altre pagine web. Di conseguenza, l'URL della pagina e, potenzialmente, anche altre informazioni disponibili pubblicamente, quali il testo di ancoraggio nei link al sito o il titolo fornito dall'Open Directory Project (www.dmoz.org), possono essere visualizzati nei risultati di ricerca di Google.
Al contrario
Per impedire che i contenuti di una pagina vengano elencati nell'indice web di Google anche se altri siti contengono link a essa, utilizza un noindex meta tag or x-robots-tag. Quando analizza la pagina, Googlebot riconosce il meta tag noindex e impedisce la visualizzazione della pagina nell'indice web. L'intestazione HTTP x-robots-tag è particolarmente utile se desideri limitare l'indicizzazione di file non HTML, come i grafici o altri tipi di documenti.
http://support.google.com/webmasters/bin/answer.py?hl=it&answer=156449&topic=2370588&ctx=topic
inserire il NoIndex, NoFollow, nel pannello di configurazione di Joomla, significa di fatto dire allo spider del motore di ricerca di non indicizzare nessuna pagina del sito e di non seguire i link che trova.
Maurizio Ziopal
