Problema con il file robots e l'indicizzazione

[cassiopea]

Problema con il file robots e l'indicizzazione

Vorrei sapere come bloccare l'indicizzazione tramite file robots di pagine tipo :miosito/123.html insomma tutte le pagine con i numeri, non capisco perchè si formano e vengono indicizzate creando contenuti duplicati.
Cosa devo mettere nell Disallow?
I miei siti sono in Wordpress .
Grazie.

[vnotarfrancesco]

Con il file robots blocchi il crawling diretto degli spider, purtroppo non ne blocchi l'indicizzazione se i motori di ricerca vengono a conoscenza del link in un altro modo.

Il metodo ufficiale per Google è inserire nella sezione head della pagina html il metatag noindex.
In wordpress, se installi uno dei plug in per il seo, ad esempio All in One SEO Pack oppure SEO Ultimate, automaticamente impediscono ai motori di ricerca l'indicizzazione del contenuto duplicato, oltre a darti la possibilità di intervenire su alcuni parametri fondamentali per il seo.

Io aggiungerei anche il tag rel="canonical" per un ulteriore sicurezza, così anche se i motori dovessero indicizzare più pagine con lo stesso contenuto (tag, categorie, ecc.), non corri nessun rischio.

Valerio Notarfrancesco

[cassiopea]

Va bene, grazie!

[vnotarfrancesco]

Prego.
Un ulteriore consiglio: prima di installare un plug-in per il seo, controlla che il tema in uso non faccia già lui delle modifiche in tal senso.

Valerio Notarfrancesco

[cassiopea]

Grazie, ho messo Seo Ultimate, mi sembra che abbia risolto alcuni problemi che avevo come quello del tag title, vedo nei prossimi giorni se si sistema anche l'indicizzazione.
All In One che avevo già provato andava in contrasto con il tema o altri plugin già installati.