robots.txt per gestire delle url automatiche

[mix]

robots.txt per gestire delle url automatiche

Salve a tutti,
ho un piccolo problema che è sorto quando ho istallato il plugin Wordpress Global Translator Plugin sul mio blog.

Il plugin sfrutta google traslator per tradurre ( in mal modo ma almeno le traduce ) le pagine dell'intero blog in inglese in francese.

Il plunig genera quindi automaticamente le seguenti sottocartelle:

nomesito.ext/en nomesito.ext/fr

Non ho però considerato questo fattore:

se siamo in nomesito.ext/en e clickiamo sulla bandiera inglese il plugin non ridireziona nuovamente su nomesito.ext/en ma invece aggiunge una sotto cartella del tipo nomesito.ext/en/en

Cosi via generando infinite sotto cartelle con contenuti duplicati un sacco di volte

es.

nomesito.ext/en/fr/en/en ecc.

Naturalmente un normale user che si trova nella sottocartelle nomesito.ext/en come logica vuole non clicca nuovamente su traduci il blog e quindi il problema non persiste.

Invece gli spider che scansionano continuamente il mio blog seguono quel link e di conseguenza indicizzano milioni di pagine e sottocartelle con url diversi ma con gli stessi contenuti.

Sinceramente è stata una mia mancanza non accorgersi di ciò.

Ormai però il danno è fatto e devo correggerlo al più presto.

Cosa mi consigliate?

Io avevo pensato ad evitare il tutto tramite robots.txt ma come faccio?

E' possibile usare le regolax nel robots.txt?

Avete soluzioni in mente?

Mi date una mano?

[giorgiotave]

Up per MIX

[samdolgoff]

Provo a buttartela li:

User-agent: *
Disallow: /en/en/
Disallow: /en/fr/
Disallow: /fr/fr/
Disallow: /fr/en/

... spero che funzioni ...

[mix]

Effettivamente hai ragione, grazie mille.

Bastava fare 2 elevato alla seconda e vedere che c'èrano solo 4 condizioni da dichiarare.

Che stupido.

Grazie mille, Saluti.