Da circa un mese sto facendo pulizia su un sito, proprio col metodo sconsigliato: in pratica ho eliminato le pagine da rimuovere (circa 2000 pagine, cancellate in modo che restituiscano cod 404) bloccandole al tempo stesso in robots.txt.
Ero stato in dubbio se usare invece il redirect 301, che avrei potuto impostare senza grossi problemi data la forma degli url (ridirigendo magari sulla home page gran parte delle pagine), ho scelto invece quest'altro metodo (sbagliando, evidentemente) perchè corrispondeva alla procedura indicata per rimuovere definitivamente le pagine dagli indici, che era in fondo l'obiettivo dell'intervento.
Se non ho capito male, quando il crawler trova una pagina bloccata da robots.txt che risulta anche inesistente (cod 404), dovrebbe lanciare la procedura di rimozione di quella pagina dagli indici. In effetti, sia pure molto più lentamente di quanto mi aspettassi, le pagine bloccate sembrano in via di rimozione dagli indici.
Data l'indicazione, penso comunque che provvederò rapidamente a sbloccare le pagine dal robots.txt e impostare invece i corrispondenti redirect 301.
Almeno mi pare che sia questo il senso della new, se qualcuno trova degli errori in questi ragionamenti gli sarei davvero grato se volesse segnalarmeli.
Grazie mister.jinx per la segnalazione, non ho però ben capito cosa intendi quando dici che non è possibile riempire un sito di redirect: non dovrebbe essere pressapoco equivalente, come impegno, a bloccare le stesse pagine via robots.txt?
