@PsYCHo said:
Sfruttando il robots.txt vorrei risolvere il tutto, secondo voi è una soluzione coerente?
Specie se il sito possiede molte pagine, il solo robots.txt può non dare buoni risultati.
A volte può essere persino dannoso, nel senso che non facilita la valutazione del sito al motore di ricerca.
Quello che bisogna fare è presentare al motore una situazione che **inequivocabilmente ** mostra l'esistenza delle sole URL "riscritte".
Pertanto:
Tutti i link sul sito devono puntare a URL "riscritte";
Tutte le richieste di URL "vecchie" devono restituire ai client una redirezione lato server (status HTTP 301) verso la corrispondente URL "riscritta".
Nel caso in cui si adotti la sopra citata tecnica, il robots.txt non va usato per chiedere allo spider di non accedere alle URL vecchie.