Io, con Google, non ho mai avuto problemi col robots.txt.
Sicuro di averlo scritto giusto? Prova a postarlo..

Guarda, leggo qui http://it.wikipedia.org/wiki/Robots.txt che l'URL è case sensitive, ecco svelato l'arcano.

In pratica su web server windows google potrebbe fare il crawling di una pagina che sul robots.tx magari è scritta:

Disallow: /Private.html

facendo il GET così: /private.html