Si questo è certo.
Ma io parlavo di "ottimizzare" il processo di indicizzazione e chiedevo se qualcuno ha mai provato ad inserire nel robots.txt tutte le varie sitemaps e se anche solo in piccola percentuale viene velocizzato il processo di indicizzazione.
Magari vengono "parallelizzate" le richieste

Il dibattito principale comunque verte su come è meglio distribuire le pagine di un sito nelle varie sitemaps (tipologia, categoria, novità). Oppure è totalmente indifferente, l'importante è suddividere, a prescindere dall'organizzazione?

Aggiungo un bel link all'ottimo tweet di misterjinx:
twitter.com/#!/misterjinx/status/93457165632811008
Non serve altro commento

Ok, io avevo in effetti risposto alla seconda domanda. per quanto riguarda il link relativo alle sitemap di Gstatic, beh io credo che sia normale per loro utilizzare delle sitemap testuali, semplicemente perchè diversamente dovrebbero aggiornare continuamente i files inserendo la data di ultima modifica.
per quanto riguarda la suddivisione delle pagine in sitemap, io cercherei di dividerle con logica ad esempio per sezione.
in questo modo posso vedere quali pagine sono indicizzate e quali no.
Se poi ho problemi di indicizzazione o voglio verificare contenuti duplicati, creerò delle sitemap più piccole in modo da riuscire ad individuare più facilmente le pagine da sistemare...

La scelta di Gstatic di utilizzare file txt è sicuramente dettata da problemi di efficienza, come anticipato da cardy. Tra l'altro alcuni parametri della sitemap come la priorità sarebbero inutili. Perchè mai Google dovrebbe dare una priorità maggiore ad un profilo rispetto ad un altro?
C'è da studiare bene invece la distribuzione dei profili nelle varie sitemaps, per comprendere se c'è una logica ben precisa o se sono ordinati per ip. Io vedo innanzitutto che sono raggruppati per lingua. E' un primo indicatore.

Tornando a noi. Tu consigli di suddividerle per sezioni, quindi seguendo una certa logica (con un occhio alla semantica). Sono pienamente d'accordo.
Però se questo non influenza l'indicizzazione, tanto vale inserirli per data di inserimento o per id: è più veloce, più immediato, più semplice da realizzare

Aggiungo altra carne al fuoco:
http://plus.google.com/108430785388669534399/posts/PH4T9Em88Qr
Un commento di Enrico Altavilla sollecitato da Riccardo Mares (Merlinox).

Salve ragazzi

Io punterei molto sullo strumento diagnosi, cioè suddividerle per poi trarre informazioni da Google.

Tuttavia...ci sono una serie di considerazioni che è importante conoscere:

• GWT è passato da 185.000 URL nell'indice web a 950.000...senza aumentare il traffico :():
• GWT è molto instabile per quanto riguarda le Sitemap...i bug sono dietro l'angolo costantemente e i fattori di percentuale di indicizzazione variano anche in funzione della popolarità, della grandezza, della velocità..sono instabili
• i test che effettuiamo devono essere fatti con tutti i parametri fermi, che è difficile, perchè se la popolarità aumenta è ovvio che si ottiene di più (nel grafico di SEOMoz la freccia indica l'aumento di traffico da un dato giorno...ma mi pare che il traffico stia esplodendo già poco prima..)
• se la Sitemap era davvero messa male, con l'operazione X si possono ottenere molti vantaggi. Magari però..con la nostra Sitemap non otteniamo gli stessi risultati perchè partiamo da un punto di partenza più avanzato
• molte volte mi è capitato di dividere le Sitemap in più Sitemap senza variare la percentuale di pagine indicizzate
• la scelta della Sitemap è molto delicata e secondo me è importante che venga effettuata tenendo presente lo storico delle modifiche che si sono fatte al GWT

Quello che voglio dirvi è che fare test con la Sitemap è molto più complesso che farli con i parametri dei fattori interni e non sono la stessa cosa.

Qui abbiamo più fattori di personalizzazione di trattamento e più fattori che non possiamo controllare.

Bisogna stare un pò più attenti del solito

Ciao Giorgio grazie della nuova qualifica "esperto" e grazie per il tuo intervento in questa discussione.

Si è molto delicata la questione, sia per l'importanza della sitemap nell'indicizzazione delle pagine sia perchè è facile che il test venga "sporcato" da altri fattori (oltre all'inaffidabilità del GWT per quanto riguarda i dati relativi alla sitemap).

Sto pianificando proprio ora la modifica della sitemap cercando di "accorpare" le pagine in maniera logica, in base agli argomenti e altri fattori che rendono le pagine "affini".
In questo modo ho anche la possibilità di tenere sotto controllo l'indicizzazione delle pagine di determinate categorie merciologiche, o prodotti non categorizzate a dovere, o prodotti di marche "poco linkate internamente" etc.. etc..
Lo scopo è proprio questo: cercare di comprendere se porta effettivi vantaggi la sola suddivisione della sitemap e avere dei dati in più da analizzare per prevenire/curare eventuali problemi.

Se qualcuno ha delle esperienze dirette a riguardo, e le vuole condividere, sono sicuramente ben accette

Mi piacerebbe se dopo questa esperienza volessi condividere con noi i risultati

Ma certo!

Salve ragazzi, ho seguito con molta attenzione la discussione e vorrei chiedervi come inserire un contatore nel main in modo dinamico cioè il contatore quando questo raggiunge il valore 50000, chiudere il file di *sitemap *e ne crea un altro lo scrive fino a 50000 e poi ripete l'operazione fino al completamento di tutta la sitemap xml.