Wow! La cosa persiste ancora oltre il 15/10?

Che possa esserci qualche ora di discrepanza tra il recepimento del robots.txt e le richieste del crawler penso sia comprensibile. Sarebbe ben strano se perdurasse oltre...

@kal quel robots.txt è così da mesi e mesi, ho inserito la data dell'ultima lettura comunque come prova.

@merlinox cavoli, è ben strano però.

Ci deve essere una ragione tecnica precisa dietro a questa discrepanza, Googlebot è estremamente rigido nell'applicare la direttiva robots...

@kal ne ero convinto pure io!

Ho ricostruito la storia e il robots.txt è stato sistemato la mattina del 14 ottobre.
A questo punto temo sia una discrepanza di date.

Vi aggiorno!

Ragazzi con l'animo rincuorato posso confermare che era solo un problema di disallineamento di date / orari (che comunque persiste). Però dai possiamo ancora dirlo: Google rispetta il robots.txt!!!

@merlinox ohhhhhhhhhhhhhhhhhh

Almeno una gioia

Bene @merlinox, è molto confortante.
Stavo seguendo nella speranza che integrassi con questo messaggio

@alepom resta vivo il fatto di asincronia tra vari report, in questo caso beccato in pieno un buco di date.
Come dice @gfiorelli1 ben più grave l'asincronia che spesso di trova nel coverage report, in cui sono presenti dati spesso errati.

@merlinox ha detto in Google che non rispetta il robots.txt:

Ho ricostruito la storia e il robots.txt è stato sistemato la mattina del 14 ottobre.
A questo punto temo sia una discrepanza di date.

Potrebbe essere normale: Google fa caching del robots.txt per 24h in condizioni normali.

@federico-sasso Per quello avevo confrontato gli orari (segnalati da Google) di scansione e ultimo aggiornamento del robots.txt