GG indicizza il file robots.txt

[fandangood]

GG indicizza il file robots.txt

Mi sono appena accorto di una novità: se effettuo una ricerca tramite site:www.miosito.com mister GG mi restituisce anche www.miosito.com/robots.txt con la description ricavata dal contenuto inserito nel suddetto file.
Confermo che fino a qualche giorno fa, come del resto per almeno gli ultimi 3 anni, Google non aveva mai indicizzato il file sopra citato. Avete qualche idea? Sta succedendo anche a voi?

Grazie

[cibino]

a me googlebot ha indicizzato invece una url che avevo bloccato con il robots.txt.

questa è la stringa presente nel robots.txt

User-agent: * 
Disallow: /tag/

e questa è la serp
serp

[stuart]

@"cibino" said:

a me googlebot ha indicizzato invece una url che avevo bloccato con il robots.txt.

L'indicizzazione di una **URL **non è considerata violazione delle direttive del robots.txt. La pagina cui fai riferimento, infatti, non è stata scaricata. Come vedi, non ne esiste neanche una copia cache.
E' un comportamento frequente di Google.

__

Ciao fandangood,

Google stesso ha il suo robots.txt indicizzato
http://www.google.it/search?hl=it&q=google+robots+txt&btnG=Cerca+con+Google&meta=

Se questo file riceve un link, oppure è posto nella sitemap, o per altri motivi che potrebbero portare lo spider a raggiungere il file come un qualsiasi file .txt , il robots.txt viene indicizzato.

Anche questo non è un comportmento anomalo o infrequente da parte di Google.

.Stuart

[cibino]

@Stuart said:

L'indicizzazione di una **URL **non è considerata violazione delle direttive del robots.txt. La pagina cui fai riferimento, infatti, non è stata scaricata. Come vedi, non ne esiste neanche una copia cache.
E' un comportamento frequente di Google.

capisco. non lo sapevo!
grazie mille, stuart

[stuart]

Altro esempio pratico..

http:// shi.fter.net/ robots.txt

e in serp

http://www.google.it/search?hl=it&q=shi.fter.net&btnG=Cerca&meta=

.Stuart

[fandangood]

Google stesso ha il suo robots.txt indicizzato
http://www.google.it/search?hl=it&q=...Go ogle&meta=

Se questo file riceve un link, oppure è posto nella sitemap, o per altri motivi che potrebbero portare lo spider a raggiungere il file come un qualsiasi file .txt , il robots.txt viene indicizzato.

Anche questo non è un comportmento anomalo o infrequente da parte di Google.

Non ho inlink sul robots (testato con Yahoo explorer), non ho una sitemap... Ho solo cambiato server di recente. Sarà forse una configurazione a livello server del text-plain? Mah... Comunque grazie mille... e io che mi stavo preoccupando.