Robots.txt INDICIZZATO

[vocalis]

Robots.txt INDICIZZATO

ieri mi é stato indicizzato il robots.txt a me sembra una novità o mi sbaglio?

[pdellov]

Ciao vocalis,
ho fatto una ricerca sembra che sia una cosa "comune":
http://www.google.it/#hl=it&q=site%3A*%2Frobots.txt&meta=cr%3DcountryIT&aq=&oq=&fp=df74719df4b2360a

Anche quello di questo sito è nell'indice di Google:
http://www.google.it/#hl=it&q=site%3Ahttp%3A%2F%2Fwww.giorgiotave.it%2Frobots.txt&meta=&aq=&oq=site%3Ahttp%3A%2F%2Fwww.giorgiotave.it%2Frobots.txt&fp=df74719df4b2360a

Ed è indicizzato dal 7 aprile 2005 se non sbaglio
Quindi non credo ci sia da preoccuparsi.
Ciao
Paolo

[vocalis]

Strano che sia stato indicizzato solo ieri dopo circa un'anno che é stato creato...

Da circa un mesetto sto tracciando i movimenti di googlebot attraverso uno script e il risultato va su un file.txt

L'indicizzazione del robots.txt potrebbe essere correlata... non aveva mai inserito altri file .txt sul server oltre al robots

[donclaudissimo]

@vocalis said:

Da circa un mesetto sto tracciando i movimenti di googlebot attraverso uno script e il risultato va su un file.txt

Che script ?

[vocalis]

È un semplice script per rilevare quando passa... nulla di anomalo..

Ho un altro quesito riguardo a una pagina indicizzata anomala secondo me..

Stavo facendo un test sulla sitemap.xml ho modificato tutti i lastmod
con questa data 2009-12-20 dopo circa una settimana è stata indicizzata una pagina con

nomedelmiodominio/?122009

al suo interno c'è il contenuto dell'homepage...

È normale? Che rappresenta?