problema con il robots txt

gillis

problema con il robots txt

Ciao a tutti,
su search console noto una cosa strana.

di default ho impostato il mio robots.txt in questa maniera:

User-agent: *
Disallow:

solo che in search console mi viene mostrato in questo modo:

User-agent: *
Disallow:
Crawl delay: 10

ho controllato sia su Yoast in wordpress e sia nella cartella public_html di cpane e il robot è come l'avevo impostato. Non capisco perchè su search console c'è quella impostazione di ritardo del crawling (che tra l'altro viene ignorata da googlebot).

Dite che è un bug e lascio tutto così com'è??
Grazie mille in anticipo

luigimdg88

Prova a sostituire il Disallow: con un Disallow : /

gillis

Ciao,
scusa ma così non blocco tutto il sito?

luigimdg88

Ma cosa vuoi fare con quel Disallow scusami? Perchè se non devi bloccare nulla non ha senso.. Basta l'Allow

simone.paciarelli

Ciao Gills forse c'è un pò di confusione intanto ti indico una bella guida di Andrea Pernici http://seoblog.giorgiotave.it/seo/wordpress qui troverai una parte in cui viene trattato
proprio l'argomento del robots. Come consiglia anche Andrea la cosa migliore per un classico sito basato su piattaforma Wordpress

User-Agent: *
Disallow:

Per quanto riguarda invece il delay, troverai sicuramente su google search cosole un'icona gialla vicino alla formattazione del tuo robots. tale icona indica che questo parametro non viene preso in considerazione dal crawler di Google.

Inizia intanto a vedere la guida di Pernici che ho segnalato sopra e facci sapere

SImo

gillis

Ciao a tutti,

@LuigiMdg: mi sa che non hai capito la mia domanda: volevo sapere perchè avevo quel crawl delay su search console quando non avevo mai inserito quella opzione nel file, non capisco perchè mi consigli di bloccare l'intero sito...

@sssimo: grazie della guida, avevo di fatto impostato il robot alla stessa maniera e si, in effetti googlebot ignora la regola del ritardo, solo che volevo semplicemente sapere da dove è saltata fuori quella dicitura e perchè

Grazie ancora a tutti

luigimdg88

@Gillis said:

Ciao a tutti,

@LuigiMdg: mi sa che non hai capito la mia domanda: volevo sapere perchè avevo quel crawl delay su search console quando non avevo mai inserito quella opzione nel file, non capisco perchè mi consigli di bloccare l'intero sito...

@sssimo: grazie della guida, avevo di fatto impostato il robot alla stessa maniera e si, in effetti googlebot ignora la regola del ritardo, solo che volevo semplicemente sapere da dove è saltata fuori quella dicitura e perchè

Grazie ancora a tutti
Ah, non avevo capito la domanda allora.. Non è che hai attivato una CDN? A me capita a volte che non si aggiorna in automatico e devo richiedere di svuotare quel file dalla cache..