Il robots.txt non serve per non far indicizzare o deindicizzare. Se blocchi una risorsa con robots.txt il motore non sarà mai in grado di accederci e di conseguenza non potrà neanche leggerne il canonical.

Utilizzando il software che mi hai suggerito XENU noto che ci sono redirect 302 come avevi anche tu notato.
Ad esempio sono pieno di redirect 302 causati dai pulsanti dei social Facebook mi piaci e Pinterest
Purtroppo non riesco ad allegarti immagini e link!

1-Potrebbero dare fastidio tutti questi redirect 302 causati dai pulsanti social?2-Se si è meglio eliminare i pulsanti?3-Ma tutti gli url che compaiono nella lista di report del software XENU sono tutti url che sono stati indicizzati dai vari spider (google, Bing ecc)?4-Se correggo gli errori (redirect, canonical ecc) non dovrebbero più comparire come errori nel report XENU?Scusa per tutte queste domande, ti ringrazio come sempre.

Tendenzialmente più errori correggi e più la lettura del tuo sito da parte del motore sarà migliore.

Non so che errori ti da Xenu perché io avevo usato Visual SEO, ma il concetto è lo stesso. Dove puoi intervenire cerca di intervenire.

Per quanto riguarda i contenuti duplicati, potrebbe essere che google veda la versione mobile del mio sito come contenuti duplicati?
Per vedere la versione mobile questo è il link:
cosmeticarsi.it/?ps_mobile_site=1
Però non sono indicizzati su google gli url della versione mobile!
Mi conviene mettere non indicizzare tutte le pagine della versione mobile con il tag noindex?
Grazie

Per la versione mobile ci sono tutta una serie di accorgimentecnici da tenere e ti consiglio proprio di implementare il tutto correttamente.

Qui trovi le info e le possibilità https://developers.google.com/webmasters/smartphone-sites/details

Ciao Juanin,
ho effettuato tutte le modifiche suggerite, eliminato redirect 301,302, messo tag canonical, messo tag nofollow nelle pagine che non mi interessano essere indicizzate, ma ad oggi la situazione sembra essere peggiorata!
Tutte le pagine prodotto sembrano scomparire giorno dopo giorno! Non riesco ancora a capire il motivo; nessun errore nel web master tool; erano indicizzate bene!
Con il cambio hosting si sono verificati tutti questi problemi!!! (peccato non posso tornare indietro)
A questo punto non so più che pensare! Può essere un problema di back link?
Riesci a capire e vedere se cè qualche link sospetto che punta al mio sito?
Ti ringrazio come sempre per l'aiuto.
Ciao
Stefano

@stefanom4 said:

messo tag nofollow

Dove e perché? Il nofollow nei link interni non ha molto senso.

Occhio a non fare errori tipo deindicizzare tutto. Fai le cose con calma, ma falle bene.

Scusa intendevo dire noindex.... ho inserito il noindex nelle categorie che non esistono piu in quanto prestashop non lo gestisce bene.
Ho controllato i backlink con majesticseo e ho perso un sacco di backlink circa 400 nel mese di aprile proprio quando ho effettuato il cambio di hosting!
Provenivano tutti dai seguenti domini:

-webnamelist.com/alexa/Alexa_62.html
-listofdomains.org/alexa/Alexa_109.html
-a1000k.com/alexa/alexa_list505.html
-domainprcheck.com/page/40/
-indexsite.org/domain-list-1945
-list-of-domains.org/alexa/alexa_106.html
-mail.listofdomains.org/alexa/Alexa_129.html
-pagerankresearch.com/alexa/Alexa_List_83.html

ecc... x un totale di circa 400 backlink persi!
Ma è questa la causa di perdita di posizione in google?
Perchè ho perso tutti questi backlink se il cambio hosting non dovrebbe causare nessun problema secondo google?
Grazie

Il fatto che hai perso link non dipende né dall'hosting né da Google in realtà.

Sono cose completamente scollegate.

Ma secondo te può essere questo il problema che mi ha causato la perdita di posizioni in google?

Non lo so stefano. I motivi possono essere tanti e non posso trarre conclusioni senza analizzare approfonditamente i dati e il sito.

Dubito in ogni caso che quei link possano averti causato il crollo.

Scusami per tutte queste domande, ma come penso hai capito sono molto preoccupato e disperato!
Sempre con majesticseo vedo che nel mese di aprile ho acquisito diversi baklink, però non so se questi link possano essere dannosi e se sia il caso di rimuoverli tramite Google Disavow Links per vedere se la situazione migliora!
Visto che sei molto disponibile nel rispondermi di cosa avresti bisongno per analizzare il sito?
Offri consulenza esterna?
Grazie

Stefano non fasciarti la testa prima di romperla.

Se non hai fatto attività contro le linee guida e non hai notifiche nel Webmaster Tool di azioni manuali quello che devi fare è identificare i punti di perdita delle tue pagine in termini di traffico dai motori di ricerca e da lì partire nell'identificazione del problema.

Audit tecnico e poi audit sui contenuti, ma non fare cose inutili e dannose come usare il disavow.

Ciao juanin,
A distanza di 2 mesi le cose non sono assolutamente cambiate!
Non sappiamo più dove sbattere la testa!
Riesci in qualche modo a fare un analisi del ns sito per capire perché siamo stati brutalmente penalizzati?
Anche privatamente basta che mi fai sapere.
Ti ringrazio

Stefano

Ma avete fatto un'analisi approfondita oppure no?

Ciao,
abbiamo fatto un'analisi in base a quello che abbiamo letto e che ci hai consigliato, però non siamo riusciti a capire il reale problema di questa penalizzazione!
Cosa ci consigli?
Grazie

Se allegate tutta l'analisi che avete fatto magari possiamo poi vedere cosa altro potete controllare.

Ciao abbiamo eseguito i seguenti passaggi:

• Eliminato i redirect 301 interni al sito
• Inserito tag noindex nei link generati dai filtri che potevano essere considerati contenuti dupplicati interni al sito
• Inserito tag canonical in ogni scheda prodotto
• sistemato il file robots.txt in modo da permettere a google di accedere e visualizzare correttamente ogni singola pagina del sito ( grazie al "recupera e visualizza" del WMT)
• Sospeso da 2 mesi i feed RSS sui comparatori di prezzo (amazon, e altri) perchè ho letto che a google non piacciono i feed RSS in quanto considerati contenuti dupplicati (ad oggi vedo xò che sono ancora indicizzati su amazon e compaiono per primi nella serp)
• Da 3 giorni ho eliminato 2 link esterni non ipertestuali presenti all'interno di ogni scheda prodotto che erano stati caricati da un pligin esterno.

Questi link che puntano all'esterno che però non sono ipertestuali (senza l'href) possono essere considerati spam da google?

Cosa ne pensi?

Grazie

Stefano

E non hai controllato Analytics e WMT per comprendere i punti di perdita?

Si certo,
su WMT abbiamo avuto un fortissimo calo di impressioni; da 600 impressioni medie al giorno siamo passati a 40 impressioni giornaliere.
Mentre su analitycs abbiamo avuto una calo giornaliero (circa dimezzato) dal canale Organic Search coincidente con la data del calo delle impressioni del WMT