- Home
- Categorie
- La Community Connect.gt
- Tutto sulla Community
- GG indicizza il file robots.txt
-
GG indicizza il file robots.txt
Mi sono appena accorto di una novità: se effettuo una ricerca tramite site:www.miosito.com mister GG mi restituisce anche www.miosito.com/robots.txt con la description ricavata dal contenuto inserito nel suddetto file.
Confermo che fino a qualche giorno fa, come del resto per almeno gli ultimi 3 anni, Google non aveva mai indicizzato il file sopra citato. Avete qualche idea? Sta succedendo anche a voi?Grazie
-
a me googlebot ha indicizzato invece una url che avevo bloccato con il robots.txt.
questa è la stringa presente nel robots.txt
User-agent: * Disallow: /tag/
e questa è la serp
serp
-
@"cibino" said:
a me googlebot ha indicizzato invece una url che avevo bloccato con il robots.txt.
L'indicizzazione di una **URL **non è considerata violazione delle direttive del robots.txt. La pagina cui fai riferimento, infatti, non è stata scaricata. Come vedi, non ne esiste neanche una copia cache.
E' un comportamento frequente di Google.__
Ciao fandangood,
Google stesso ha il suo robots.txt indicizzato
http://www.google.it/search?hl=it&q=google+robots+txt&btnG=Cerca+con+Google&meta=Se questo file riceve un link, oppure è posto nella sitemap, o per altri motivi che potrebbero portare lo spider a raggiungere il file come un qualsiasi file .txt , il robots.txt viene indicizzato.
Anche questo non è un comportmento anomalo o infrequente da parte di Google.
.Stuart
-
@Stuart said:
L'indicizzazione di una **URL **non è considerata violazione delle direttive del robots.txt. La pagina cui fai riferimento, infatti, non è stata scaricata. Come vedi, non ne esiste neanche una copia cache.
E' un comportamento frequente di Google.capisco. non lo sapevo!
grazie mille, stuart
-
Altro esempio pratico..
http:// shi.fter.net/ robots.txt
e in serp
http://www.google.it/search?hl=it&q=shi.fter.net&btnG=Cerca&meta=
.Stuart
-
Google stesso ha il suo robots.txt indicizzato
http://www.google.it/search?hl=it&q=...Go ogle&meta=Se questo file riceve un link, oppure è posto nella sitemap, o per altri motivi che potrebbero portare lo spider a raggiungere il file come un qualsiasi file .txt , il robots.txt viene indicizzato.
Anche questo non è un comportmento anomalo o infrequente da parte di Google.
Non ho inlink sul robots (testato con Yahoo explorer), non ho una sitemap... Ho solo cambiato server di recente. Sarà forse una configurazione a livello server del text-plain? Mah... Comunque grazie mille... e io che mi stavo preoccupando.