Ciao jackass,
prima di rimuovere fisicamente le pagine devi dire a Google di toglierle dai risultati di ricerca, sennò si arrabbia e ti punisce.

Edit:

• Inizia i messaggi con una maiuscola e termina con un punto.

• Evita il linguaggio da telefonini.

@PsYCHo said:

prima di rimuovere fisicamente le pagine devi dire a Google di toglierle dai risultati di ricerca, sennò si arrabbia e ti punisce.

Scusa psycho, puoi spiegarti meglio?

Praticamente, ti crei un account google, ti iscrivi al webmaster tool di google, il quale ti permette di avvisare google quando si ha intenzione di cancellare una pagina.

Si, però parlando ad esempio di un e-commerce... ho una serie di articoli categorizzati che mi generano (tramite script) una serie di pagine, ad esempio il dettaglio di ogni singolo articolo.
Ora, se io cancello una categoria (o la rinomino o che altro) per il crawler ci saranno nuove pagine mentre altre saranno sparite, diventa però difficile comunicare attraverso i webmaster tools tutte le pagine che non ci sono più...

Lo so è uno sporco lavoro ma qualcuno lo deve pur fare, scherzi a parte ho anche io lo stesso problema.

Beh se Google non trova più quelle pagine poi capisce da solo che sono state rimosse.

@PsYCHo said:

... sennò si arrabbia e ti punisce.
Lo hai detto per scherzo o è davvero così?

E' davvero così, indice di un sito mal fatto è proprio il fatto di puntare a link che danno come risposta una pagina che non esiste.

@jackass said:

E' davvero così, indice di un sito mal fatto è proprio il fatto di puntare a link che danno come risposta una pagina che non esiste.

Poi c'è da dire una cosa, che se in teoria il sito è programmato bene una pagina non 'sparisce' letteralmente, nel senso che se passo dei parametri per la generazione incorretti o non più validi, lo script dovrebbe intercettarli e restituire una pagina comunque valida, non l'errore 404.
Resta comunque il problema di comunicare a google che quelle pagine non sono più valide. Io credevo che le sitemap servissero proprio a questo, cioè a sgravare il lavoro del crawler che viene informato preventivamente su ciò che dovrebbe essere stato modificato in un arco di tempo definito... dico credevo perché il meccanismo con cui funziona il tutto non mi è ancora chiarissimo. Nel senso che (magari qualche guru può spiegarmi questa cosa) sembra non ci sia relazione tra quello che indicizza il crawler e quello che c'è in sitemap ad eccezione naturalmente delle pagine che il crawler non può raggiungere, per esempio quelle con stringhe di ricerca che devono essere per forza fatte 'a mano'.