@The Anonymous said:

in ogni caso volevo anche sapere: se nel robots.txt inserisco una direttiva che dice di escludere tutte le pagine del sito, ma poi nella sitemap indico alcune pagine (non tutte), queste pagine che indico nella sitemap vengono prese in considerazione o no? chi è che comanda di più? il disallow del robots o la sitemap?

Se stiamo parlando dell'indicizzazione da parte di Google questi casi possono essere testati con l'utilizzo del webmaster tool.
A me risulta che:

se un url è bloccato dal robots e presente nella sitemap, WMT segnala errori nella sitemap perchè ci sono url bloccati con un esclusione di tutte le pagine dal robots, WMT segnala che nemmeno la sitemap è raggiungibile dal crawler

Come ti hanno già consigliato potresti utilizzare il metatag robots sulle pagine che non vuoi far indicizzare.