Robots.txt(mistero): google webmaster tools lo legge diverso

[giubertinik]

Robots.txt(mistero): google webmaster tools lo legge diverso

Non so cosa pensare. Ho creato un nuovo sito e ho messo nella root il Robots.txt (non restrittivo) nel quale alla fine c'erano i riferimenti alle sitemaps.

Sono andato come al solito in Google Webmaster tools, ho registrato correttamente il nuovo sito
... e mistero (da uscirne pazzo) ...

Google Webmaster vede un robots.txt diverso dal mio (sezione crawler)totalmente restrittivo con Disallow ad ogni cosa. Ne ho provate di ogni:

• Controllare che stessi lavorando sul sito giusto [ormai non escludo nulla]
• ricaricare il robots.txt
• controllare che fosse nella root del sito
• cambiare i permessi al robots.txt
• controllare che non ci fossero metatag con robots.txt antagonisti nel layout grafico.
• Aprire ad ogni bot il mio robots.txt e togliere ogni restrizione
• ho provato a rifare la registrazione a google webmaster
• ho provato a cancellare cache cookie cambiare pc (casa )

Non cambia nulla. Se apro il robots.txt con diversi browser lo vede giusto (scritto da me), se apro robots.txt con ssh lo vede giusto, se apro sftp lo vede giusto, se vado dal web file manager del provider lo vede giusto, ma google vede un robots.txt diverso e non c'è verso di fargli cambiare idea.

Il problema è che anche le sitemaps non le rileva poichè il (suo) robots.txt non gliele fa indicizzare.

Sarà un malfunzionamento momentaneo di google webmaster? vi è mai capitato?

[giubertinik]

Forse ho risolto il mistero. Mi sono accorto ora che il mio file Robots.txt viene scaricato da Google Webmaster Tools ad intervalli regolari. Ecco perché non si vedono le modifiche.

Il mio file robots.txt si riferiva a 20 ore fa. Quello che mi chiedo è questo.

Ho introdotto una sitemap. Lui si basa sul vecchio robots.txt e non la legge (dato che quel robots.txt era totalmente restrittivo). Nel nuovo robots.txt (aperto ai bots) c'è il percorso alla sitemaps.

Al di la del fatto che Google Webmaster Tools non lo legge, secondo voi il crawler le legge?

Enrico