Devi usare il meta noindex per evitare che i motori di ricerca di indicizzano una pagina.
Escludendola inserendo l'apposita direttiva nel file robots, invece, eviti solamente che lo spider ti scansioni la pagina, ma il motore di indicizzazione potrebbe trovarla seguendo un link che rimanda ad essa da un'altra pagina, sia del tuo sito, ma anche di altri.
Il meta noindex è proprio previsto dai vari motori di ricerca e il posizionamento del sito non viene penalizzato se una o più pagine hanno questa direttiva, a patto che poi la vera home page e tutte le altre pagine che vuoi invece che compaiano nella serp siano seo friendly e che ricevano buoni backlinks.
Valerio Notarfrancesco