Robots.txt ha bloccato il file robots.txt ... e ora?

[nwa]

Robots.txt ha bloccato il file robots.txt ... e ora?

Sul GWT sto analizzando un sito che ha il robots.txt bloccato dal robots.txt e quindi vengono in automatico ingorate tutti i comandi allow e disallow presenti in robots.txt.

Come si fa a dire a google di riconsiderare il file robots.txt

Per prima cosa ho cancellato tutti quei disallow che facevano pensare a un esclusione robots.txt ... del tipo
Disallow: /.txt e simili.

Il problema rimane però che se GWT sa che robots.txt è escluso da quale file prende i comandi per includerlo di nuovo?

[overclokk]

Ciao nwa,
considerando la situazione alquanto insolita e paradossale vorrei vedere il codice del file robots e poi vorrei sapere, ma google ha indicizzato file e cartelle bloccate da questo file?
Il GWT ti da errore?

Questo codice in particolare che hai scritto

Disallow: */*.txt

dice allo spider di bloccare tutti i file .txt dentro qualsiasi cartella, in questo specifico caso non bloccherà il file robots poiché lo stesso è situato nella root del sito.

Ciao
Enea