tag tile duplicati correzione tramite robots

[liberlux]

tag tile duplicati correzione tramite robots

Salve a tutti e complimenti al forum. Vi espongo il mio problema. Nel tool google webmaster visualizzo un numero spropositato di tag title duplicati e metatag duplicati. In realtà non ci sono pagine duplicate nel sito ma tant'è. In pratica succede questo:
pagina1.html
pagina1?keyword=key
pagina1?keyword=key1

e così via...

Ho pensato allora di eliminare questi pseudo doppioni inserendo nel file robots.txt il "comando"

Disallow /*?

ma nonostante questo i duplicati non calano, anzi. Qualche suggerimento per risolvere il problema?

Un'altra domandina, scusate se approfitto. Poichè la sitemap del sito è in formato index?sitemap=xml...ecc se nello stesso file robots inserisco
allow url della sitemap google riesce a vederla oppure no?

Grazie per la pazienza

[marco.quadrella]

Ciao liberlux.

Il comando che hai inserito per escludere le url contenenti il punto interrogativo è esatto, fatta salva l'assenza dei ":" dopo il "Disallow".

Una soluzione migliore, a mio modo di vedere, sarebbe l'introduzione del rel canonical nelle pagine: in questa maniera elimineresti il problema dei duplicati mantenendo immutata la scansionabilità del sito da parte di Google.

Per quanto riguarda l'inclusione di una url bloccata tramite robots.txt da una regola più generica la situazione è un pochino più complicata: non esistono infatti ancora standard di comportamento trai vari crawlers per questa situazione. In linea di massima, per essere certo che una pagina venga scansionata dai principali motori di ricerca devi inserire la riga di allow prima di quella di disallow relativa.

Tornando al problema principale: può darsi che vi siano oscillazioni temporanee nel computo delle pagine con title duplicato, ma già in un paio di settimane la situazione dovrebbe cominciare a rientrare. Se così non dovesse essere puoi provare a comunicarci l'indirizzo del tuo sito così vediamo di capirne qualcosa in più.

Resto a disposizione per qualsiasi chiarimento.
Per il momento, buon lavoro!