Ciao ForTest, la tua domanda è poco chiara.
Il file robots serve principalmente a vietare o a richiedere il passaggio del crawler del motore di ricerca.
Quindi, perché una pagina si trova nel file robots? Con quale direttiva è stata segnata?
Valerio Notarfrancesco