La sitemap è solo un aiuto che dai al motore.

In realtà lui indicizza tutto quello che per lui è indicizzabile quindi se vuoi escludere qualcosa assicurati di impostare il noindex su tali pagine o bloccare da robots.

Considera anche che se blocco con robots una pagina già indicizzata questa non verrà deindicizzata in quanto il crawler non sarà più in grado di accedere alla pagina.

Ecco ma se volessi levare dall'indicizzazione pagina con indirizzi diversi ma contenuto uguale?

Usa il meta robots noindex per la pagina che vuoi eliminare.

@Juanin said:

Usa il meta robots noindex per la pagina che vuoi eliminare.
Il problema è che se due indirizzi puntano alla stessa pagina, ed io voglio che l'indirizzo indicizzato sia solo uno...non posso mettere il noindex giusto? Altrimenti non si indicizza nulla.
In pratica il mio blog ha indicizzato xyz .it e xyz .it/en .
Transposh si occupa della traduzione, solo che anche xyz .it/en è stato indicizzato con lo stesso contenuto in italiano di xyz.it.
Io voglio levare dall'indicizzazione xyz .it/en

Beh allora metti noindex su /en non capisco il problema.

Se non riesci a farlo via codice per non so quale motivo usa pure il Robots.txt coadiuvato dallo strumento rimozione URL del Webmaster Tool.

Conosci transposh plugin per wordpress?

Aggiungendo il suffisso /en all'url xyz. it , questo carica il contenuto e lo traduce in inglese in modo dinamico, restituendo la pagina del sito tradotta.

La pagina xyz. it /en non esiste realmente, ma viene creata dinamicamente a partire da xyz .it .

Dato che non esiste, non posso aggiungere un metatag noindex a questa pagina. La potrei aggiungere a xyz. it, ma dopo non verrebbe indicizzata quest'ultima.

Usa pure il robots per evitare di fare danni

Devo rimuovere i link anche da google webmaster giusto?

Sì.

Mi intrufolo nella discussione perchè ho un problema "più o meno" simile.
Dagli Strumenti di WebMaster ho escluso l'indicizzazione di tuti i parametri del mio sito.
L'ho fatto anche via robots con formule del tipo:

Disallow: /vino_italiano/rosso.html? Disallow: /english_wine/rosso.html?**Nonostante l'eliminazione manuale di alcuni vecchi Url, Google continua ad indicizzare pagine con parametri che sono duplicati di altre pagine. Ad esempio:
www . miosito . it / ?att_paese=59&dir=asc&limit=30&manufacturer=69&mode=list&order=position&price=1%2C10

Io ti consiglio di sistemare in primis il tuo CMS.

L'uso di Webmaster tool deve essere l'ultima via.