- Home
- Categorie
- Digital Marketing
- SEO
- Google che non rispetta il robots.txt
-
Google che non rispetta il robots.txt
Questo è il robots.txt di un sito DEV:
Non ho nota di quando sia stato modificato, ma l'ultima data di GSC è: 15/10/2021 00:33.
Questo è il report di scansione:
Come vedete Google sta scansionando a prescindere dal robots.txt completamente bloccante.
Domanda: boh!
-
Wow! La cosa persiste ancora oltre il 15/10?
Che possa esserci qualche ora di discrepanza tra il recepimento del robots.txt e le richieste del crawler penso sia comprensibile. Sarebbe ben strano se perdurasse oltre...
1 Risposta
-
@kal quel robots.txt è così da mesi e mesi, ho inserito la data dell'ultima lettura comunque come prova.
1 Risposta
-
@merlinox cavoli, è ben strano però.
Ci deve essere una ragione tecnica precisa dietro a questa discrepanza, Googlebot è estremamente rigido nell'applicare la direttiva robots...
-
@kal ne ero convinto pure io!
-
Ho ricostruito la storia e il robots.txt è stato sistemato la mattina del 14 ottobre.
A questo punto temo sia una discrepanza di date.Vi aggiorno!
1 Risposta
-
Ragazzi con l'animo rincuorato posso confermare che era solo un problema di disallineamento di date / orari (che comunque persiste). Però dai possiamo ancora dirlo: Google rispetta il robots.txt!!!
1 Risposta
-
@merlinox ohhhhhhhhhhhhhhhhhh
Almeno una gioia
-
Bene @merlinox, è molto confortante.
Stavo seguendo nella speranza che integrassi con questo messaggio
-
@alepom resta vivo il fatto di asincronia tra vari report, in questo caso beccato in pieno un buco di date.
Come dice @gfiorelli1 ben più grave l'asincronia che spesso di trova nel coverage report, in cui sono presenti dati spesso errati.
-
@merlinox ha detto in Google che non rispetta il robots.txt:
Ho ricostruito la storia e il robots.txt è stato sistemato la mattina del 14 ottobre.
A questo punto temo sia una discrepanza di date.Potrebbe essere normale: Google fa caching del robots.txt per 24h in condizioni normali.
-
@federico-sasso Per quello avevo confrontato gli orari (segnalati da Google) di scansione e ultimo aggiornamento del robots.txt
