google mi indicizza link che non sono nella sitemap

micseo

google mi indicizza link che non sono nella sitemap

Ciao,
il mio sito michelepierri .it ha una sua sitemap a michelepierri .it/sitemap.xml . Google mi ha indicizzato link quali michelepierri .it/en/blog che non sono inseriti nella sitemap. Come mai?
Nel robots ho di recente aggiunto:

Disallow: /en/
Disallow: /es/
Disallow: /zh/
Disallow: /fr/
Disallow: /de/
Disallow: /ja/

PS c'è differenze tra

Disallow: /en/

e

Disallow: /en

???? grazie.
Grazie

juanin

[TABLE="class: grid, width: 948"]

[TH="bgcolor: #6199DF"][path][/TH]
[TH="bgcolor:"]Cosa fa match[/TH]
[TH="bgcolor:"]Cosa non fa match[/TH]
[/TR]

[TD]/[/TD]
[TD]ogni URL[/TD]
[TD][/TD]
[/TR]

[TD]/*[/TD]
[TD]uguale a /[/TD]
[TD]uguale a /[/TD]
[/TR]

[TD]/en[/TD]
[TD]/en
/en.html
/en/index.html
/en
/en/home.html
/en.php?id=qualsiasicosa[/TD]
[TD]/En.asp
/cane
/?id=pesce[/TD]
[/TR]

[TD]/en*[/TD]
[TD]/en
/en.html
/en/index.html
/en
/en/home.html
/en.php?id=qualsiasicosa[/TD]
[TD]/En.asp
/cane
/?id=pesce[/TD]
[/TR]

[TD]/en/[/TD]
[TD]/en/
/en/?id=qualsiasicosa
/en/home.htm[/TD]
[TD]/en
/en.html
/En/Pesce.asp[/TD]
[/TR]

[TD]en/[/TD]
[TD]uguale a /en/[/TD]
[TD]uguale a /en/[/TD]
[/TR]

[TD]/*.php[/TD]
[TD]/nomefile.php
/en/file.php
/en/file.php?parametri
/en/tutti.php.file.html
/en.php/[/TD]
[TD]/ (anche se è come /index.php)
/nomefile.PHP[/TD]
[/TR]

[TD]/*.php$[/TD]
[TD]/nomefile.php
/en/nomefile.php[/TD]
[TD]/nomefile.php?parameteri
/nomefile.php/
/nomefile.php5
/nomefile.PHP[/TD]
[/TR]

[TD]/en*.php[/TD]
[TD]/en.php
/en/pesce.php?parametri[/TD]
[TD]/En.PHP[/TD]
[/TR]
[/TABLE]

micseo

Grazie,
la tabella è molto utile!
Per il fatto degli URL indicizzati ma non in sitemap?
Si tratta di dover impostare il robots per bene?

juanin

La sitemap è solo un aiuto che dai al motore.

In realtà lui indicizza tutto quello che per lui è indicizzabile quindi se vuoi escludere qualcosa assicurati di impostare il noindex su tali pagine o bloccare da robots.

Considera anche che se blocco con robots una pagina già indicizzata questa non verrà deindicizzata in quanto il crawler non sarà più in grado di accedere alla pagina.

micseo

Ecco ma se volessi levare dall'indicizzazione pagina con indirizzi diversi ma contenuto uguale?

juanin

Usa il meta robots noindex per la pagina che vuoi eliminare.

micseo

@Juanin said:

Usa il meta robots noindex per la pagina che vuoi eliminare.
Il problema è che se due indirizzi puntano alla stessa pagina, ed io voglio che l'indirizzo indicizzato sia solo uno...non posso mettere il noindex giusto? Altrimenti non si indicizza nulla.
In pratica il mio blog ha indicizzato xyz .it e xyz .it/en .
Transposh si occupa della traduzione, solo che anche xyz .it/en è stato indicizzato con lo stesso contenuto in italiano di xyz.it.
Io voglio levare dall'indicizzazione xyz .it/en

juanin

Beh allora metti noindex su /en non capisco il problema.

Se non riesci a farlo via codice per non so quale motivo usa pure il Robots.txt coadiuvato dallo strumento rimozione URL del Webmaster Tool.

micseo

Conosci transposh plugin per wordpress?

Aggiungendo il suffisso /en all'url xyz. it , questo carica il contenuto e lo traduce in inglese in modo dinamico, restituendo la pagina del sito tradotta.

La pagina xyz. it /en non esiste realmente, ma viene creata dinamicamente a partire da xyz .it .

Dato che non esiste, non posso aggiungere un metatag noindex a questa pagina. La potrei aggiungere a xyz. it, ma dopo non verrebbe indicizzata quest'ultima.

juanin

Usa pure il robots per evitare di fare danni

micseo

Devo rimuovere i link anche da google webmaster giusto?

juanin

Sì.

hinet2013

Mi intrufolo nella discussione perchè ho un problema "più o meno" simile.
Dagli Strumenti di WebMaster ho escluso l'indicizzazione di tuti i parametri del mio sito.
L'ho fatto anche via robots con formule del tipo:

Disallow: /vino_italiano/rosso.html? Disallow: /english_wine/rosso.html?**Nonostante l'eliminazione manuale di alcuni vecchi Url, Google continua ad indicizzare pagine con parametri che sono duplicati di altre pagine. Ad esempio:
www . miosito . it / ?att_paese=59&dir=asc&limit=30&manufacturer=69&mode=list&order=position&price=1%2C10

juanin

Io ti consiglio di sistemare in primis il tuo CMS.

L'uso di Webmaster tool deve essere l'ultima via.