In robots.txt puoi mettere sia percorsi relativi che assoluti

Tanto per darti un riferimento lo script che mi genera le sitemap per 500000 url richiede più di 70 secondi di esecuzione, essendo su un server dedicato non ho grossi problemi di prestazioni, però ho preferito giocare d'anticipo e ottimizzare la generazione delle sitemap quando so che il carico è più basso.

Sitemap di decine di migliaia di pagine generate "al volo" di solito sono molto pesanti (poi dipende anche dal tipo di query necessarie per generarle).
Per evitare rallentamenti nella navigazione degli utenti conviene generarle, sempre via script, magari in momenti di poco carico (notte fonda di solito è l'ideale), poi salvarle ed eventualmente e già che ci sei comprimerle.
Senza contare poi che se si va oltre le 50000 pagine bisogna per forza dividere la sitemap e quindi torna utile generare tutte le sitemap prima e alla fine il file indice

Anch'io uso le sitemap dinamiche dove conviene (siti fino a qualche migliaio di pagine ma non di più)
Firefox non ha nessun problema a visualizzare le sitemap xml, basta inserire il tag xml corretto in apertura e inviare l'header Content-Type appropriato, poi aprendole da Firefox ti viene visualizzata la struttura ad albero

Se vuoi un motore di ricerca su misura non è per niente assurdo inserire i contenuti nel database, poi con gli indici fulltext di MySQL fare ricerche testuali è molto facile.
Altrimenti puoi usare la ricerca personalizzata di google, c'è anche in questo forum.

Se hai un VPS o un server dedicato usa cron e wget per eseguire lo script in background in automatico

Un solo h1 e hn quanti vuoi, purchè abbiano senso nella struttura del documento e rispettino la gerarchia (es: h1 seguito da h3 non va bene perchè hai saltato h2)

Gli url vecchi sono ancora in indice.
Se hai predisposto correttamente il redirect via header http oppure il tag link rel="canonical" dalle pagine senza url rewrite si sitema tutto dopo un po di tempo.

Per asp non ti so aiutare, mi spiace!

Se usi Apache basta attivare e configurare mod_deflate, trovi la documentazione sul sito ufficiale

Inserisci come url di verifica per l'obiettivo quello della pagina di conferma nel popup

Dalla configurazione del web server

Google indicizza anche alcuni file flash, penso solo quelli non protetti.

Aggiungi il dominio blog.sito.it, verificalo e aggiungi la sitemap dal nuovo profilo

Solitamente kb e pagine scaricate sono proporzionali, quindi meno kb vuol dire meno pagine visitate da google

Se non lo devi dividere in molte parti non ci vuole tanto a farlo a mano, basta dividere il file con un editor di testo decente e ripristinare in cima ed in fondo i tag xml della sitemap, rispettivamente

<?xml ....?>
<urlset ...>

e

</urlset>

Puoi anche verificare il sito con un record DNS anche se secondo me la soluzione più semplice rimane il file

E' normale, il file robots viene generato da blogspot in automatico.

Per yahoo e bing stesso formato di google, usa la stessa e fai il submit dai relativi strumienti di gestione o specificala in robots.txt

Togli la riga con disallow senza nulla dopo, per il resto va bene