Robots indicizzato?

pj

Ragazzi, è vero che manco da un po', ma cos'è sta storia che mi indicizza anche il robots.txt con tanto di title che dice USER AGENT * DISALLOW

P.S. naturalmente ora uscirà che sono un fesso impressionabile e che questa cosa Google la fa da tre mesi!

lowlevel

Google si limita a seguire link.

Probabilmente, da qualche parte sul Web, in passato esisteva un link che puntava a quel file.

Ad esempio, sei sicuro di non aver chiesto in passato su qualche forum un informazione sul tuo robots.txt, includendo un link ad esso?

pj

Ciao Low,
ora che mi ci fai pensare, tempo fa feci vedere quel robots come esempio proprio qui su GT se non erro.

Mi sa che hai proprio ragione!