Google ignora robots.txt?

joker197cinque

Mi è capitato di vedere una pagina indicizzata su Google che è esplicitamente vietata dal robots.txt...che ne dite?

tiago

Io, con Google, non ho mai avuto problemi col robots.txt.
Sicuro di averlo scritto giusto? Prova a postarlo..

joker197cinque

Io, con Google, non ho mai avuto problemi col robots.txt.
Sicuro di averlo scritto giusto? Prova a postarlo..

Guarda, leggo qui http://it.wikipedia.org/wiki/Robots.txt che l'URL è case sensitive, ecco svelato l'arcano.

In pratica su web server windows google potrebbe fare il crawling di una pagina che sul robots.tx magari è scritta:

Disallow: /Private.html

facendo il GET così: /private.html