Una cosa, se avessi bloccato l'ip dei crawler di Google avrei lo stesso problema anche sugli altri siti presenti su quella macchina? Oppure è una cosa che si configura a livello di singolo dominio? Ehm.. e come andrebbe risolto?

@akane_p said:

Chiedo per sapere quanto è urgente mettere a posto
Non penso che il tuo sito possa venire bannato per questo, magari se sei sicura che non c'entra niente risolvilo dopo. Qui se n'è parlato di recente.

@akane_p said:

Una cosa, se avessi bloccato l'ip dei crawler di Google avrei lo stesso problema anche sugli altri siti presenti su quella macchina?
No, penso che un sistemista potrebbe bloccare solo l'accesso per un singolo dominio.

Analizzando le richieste http vedo una cosa strana.
Se provo a richiamare l'url della sitemap mi restituisce OK (status 200) e il file sitemap.xml ma poi viene reindirizzato al file robots.txt, che non esiste e il server restituisce errore 404.

Valerio Notarfrancesco

@vnotarfrancesco said:

Non penso che il tuo sito possa venire bannato per questo, magari se sei sicura che non c'entra niente risolvilo dopo.

Non sono sicura, scusami, avevo interpretato male il tuo messaggio ed avevo capito che la cosa non c'entrava con il mio problema
Forse allora è meglio provare a fare questa modifica al più presto

@vnotarfrancesco said:

Analizzando le richieste http vedo una cosa strana.
Se provo a richiamare l'url della sitemap mi restituisce OK (status 200) e il file sitemap.xml ma poi viene reindirizzato al file robots.txt, che non esiste e il server restituisce errore 404.

Ho provato ad accedere alla sitemap tramite browser ma non riesco a visualizzare quello che mi hai indicato.. a me fa vedere il documento e non fa un redirect.. forse sbaglio qualcosa o salto qualche passaggio?

E' solo il mio tool che mi segnala che dopo la sitemap viene richiesto anche il file robots.txt, potrebbe essere questo tool a dare i numeri perché in effetti è una cosa strana.

Valerio Notarfrancesco

Posso sapere che tool utilizzi? Così magari lo provo

Certo, HttpFox, è un'estensione per Firefox. Non vorrei però che ti portasse fuori strada, attenzione.

Valerio Notarfrancesco

Bene, grazie ancora

Spero di riuscire a risolvere

Ho provato ad inserire il file robots.txt, ho visto dagli strumenti che viene cercato e che restituisce il 404.. magari da fastidio anche questo in qualche modo...

Per la sitemap invece visualizzo ad esempio questo errore:

URL non seguito
Quando abbiamo testato un campione di URL della tua Sitemap, abbiamo riscontrato che alcuni URL reindirizzavano ad altre posizioni. È consigliabile che la tua Sitemap contenga URL che portano alla destinazione finale (il target di reindirizzamento) anziché reindirizzare a un altro URL.

E come dettaglio:
Errore HTTP: 302
URL: greenholiday.it/en/lombardia_.htm

Forse il problema potrebbe dipendere dalla riscrittura degli URL?
:?:?:?

Per quanto riguarda la sitemap si, deve contenere gli url nuovi non quelli precedenti ai quali poi reindirizzi.
Perché un redirect 302 (Moved Temporarily)? E' una tua scelta?

Più tardi provo a vedere per il robots.txt

Valerio Notarfrancesco

Il 302 (Moved Temporarily) non è una mia scelta, abbiamo utilizzato per i redirect dalle vecchie pagine il 301.
La pagina indicata tra le altre cose è una di quelle nuove e non una vecchia...
Le url di questo portale vengono generate in modo automatico in base ai criteri di ricerca selezionati, non so se puo' entrarci qualcosa.

Grazie

@akane_p said:

Il 302 (Moved Temporarily) non è una mia scelta, abbiamo utilizzato per i redirect dalle vecchie pagine il 301.
La pagina indicata tra le altre cose è una di quelle nuove e non una vecchia...
@akane_p said:

E come dettaglio:
Errore HTTP: 302
URL: greenholiday.it/en/lombardia_.htm

Allora vediamo, l'url che hai indicato tu, questo greenholiday.it/en/lombardia_.htm, lo visualizzo senza problemi, non dovrebbe fare un redirect? Ho capito male io? Tu da dove vedi che fa un redirect 302?
Potremmo ipotizzare che il problema sia nella gestione dei redirect.

Valerio Notarfrancesco

No, quella pagina non contiene nessun redirect ed è visualizzata a seguito di una ricerca.. l'errore 302 lo vedevo (adesso non c'è più) dagli strumenti per i webmaster di google, cliccando sulla sitemap, sotto "avvisi ed errori nella sitemap", scusami se non mi sono spiegata bene...

Hai per caso invito la sitemap anche tramite gli strumenti per Webmaster di Bing?
Così se dà errore anche su Bing escludiamo un errore o un bug da parte di Google perché a volte ci sono.

Valerio Notarfrancesco

Forse non c'entra niente ma ho visto indirizzi come questo con l'apostrofo

<url><loc>w w w.greenholiday.it/it/valle-d**'**aosta_.htm</loc><changefreq>weekly</changefreq><priority>0.8</priority></url>
Non ho mai usato url simili, quindi di non posso affermare con certezza che possano essere loro la causa.

Valerio Notarfrancesco

Non ho caricato la sitemap su Bing... procedo subito con la prova

Secondo me sono quegli url. Prova a generarti, magari anche a mano, una mini sitemap con una decine di pagine con il nome senza apostrofo e prova ad inviarla.

Valerio Notarfrancesco

Su bing da questo errore:

Codice HTTP: 200
Message: Not valid sitemap XML

Pare che la sitemap non vada bene... xx

@vnotarfrancesco said:

Secondo me sono quegli url. Prova a generarti, magari anche a mano, una mini sitemap con una decine di pagine con il nome senza apostrofo e prova ad inviarla.

Valerio Notarfrancesco

Provo subito.
Quindi potrebbe essere che l'apostrofo mi crea problemi su tutto il documento xml?

grazie 1000

Ho preso i primi 6 link dove da errore e li ho copiati nel file prova.txt
Fatto questo ho caricato la sitemap... su bing da questo errore:

Codice HTTP: 200
Severity: Error Line: 1 Position: 1 Message: Data at the root level is invalid. Line 1, position 1.

Ho creato anche un file prova.xml che invece è passato solo dopo aver tolto url con "apostrofo" ed "&"

Vediamo che succede :bho:

Ad oggi gli errori sono notevolmente ridotti, restano 113 url non seguiti ( da capire come mai )