Il robot.txt di un Blog

[palmerstoneroad]

Il robot.txt di un Blog

Salve,

potreste darmi dei consigli su come impostare un file robots.txt per un blog (è quello in firma)

Bloccareste dall'indicizzazione le directory di category/ e tag/ ?

Al momento sono indicizzate

Grazie

[marco.quadrella]

Per prima cosa, e senza dubbio, bloccherei l'accesso agli archivi (o per lo meno la loro indicizzazione) perché non sono assolutamente utili a Google ed all'utente che entra dal motore di ricerca.
Le categorie, in un numero così esiguo, conferiscono un buon valore aggiunto, quindi le lascerei indicizzare (magari inserendo nella prima pagina di ciascuna categoria una breve introduzione sull'argomento).

Discorso più approfondito meritano le pagine tag. Comincerei con il togliere le pagine con nome identico alle categorie, per due motivi: per prima cosa rischierebbero di contenere all'incirca i medesimi post, secondariamente concorrerebbero per scalare la medesima serp.
Eliminerei anche tutte le tag con pochissimi elementi (meno di 3?) e che pensi non possano raggiungere un numero sufficiente di interventi in un paio di mesi: è molto importante per non incorrere in penalizzazioni da "tag excess" e per garantire all'utente la navigazione in pagine utili.

Per prendere una decisione potrebbe esserti utile anche vedere le statistiche delle visite provenienti dai motori di ricerca sulle varie tipologie di raggruppamenti.

Spero di averti dato validi spunti di riflessione e che altri lo facciano dopo di me. Buon lavoro!