Bloccare indicizzazione delle pagine di archivio, senza compromettere quella dei Post

misia

Bloccare indicizzazione delle pagine di archivio, senza compromettere quella dei Post

Ciao a tutti.
Vorrei impedire che le pagine del tipo "mysite.com/anno" siano indicizzate su google. (es: mysite.com/2011; mysite.com/2012; ecc), favorendo invece l'indicizzazione solo degli URL dei post e della home page.

Ho pensato di inserire "Disallow:/2011" nel robot.txt, ma poi mi è venuto un dubbio. Gli url dei miei post hanno questo formato:
"mysite.com/anno/mese/giorno/titoloPost", Perciò temo che se, ad esempio, blocco l'indicizzazione della directory /2011, non saranno indicizzati anche tutti i post pubblicati nel 2011, perchè contenuti nella stessa directory... o sbaglio?

Se il ragionamento è giusto, potreste aiutarmi a trovare una soluzione per fare questa cosa?

Forse inserendo anche un "Allow:/2011/*" (oltre a "Disallow:/2011") potrei risolvere il problema?

Grazie mille.

Giapox

Ciao Misia,
se utilizzi WordPress, ti conviene installare un plugin SEO.. i più utilizzati ti danno la possibilità di aggiungere il noindex nelle pagine tag, archivi, risultati di ricerca e categoria.

Posso consigliarti questi due:
http://wordpress.org/extend/plugins/wordpress-seo/
http://wordpress.org/extend/plugins/all-in-one-seo-pack/

cworld

Un nofollow noindex no.

spidertruman

Che vuol dire il tuo commento, cworld?

andmore

Una volta installato un plugin come WordPress SEO by Yoast si ha la possibilità di scegliere per ogni articolo di *permettere *ai motori di ricerca di indicizzare la pagina stessa. Quello che intendeva dire cworld probabilmente è che si può scoraggiare il motori di ricerca di controllare i nostri contenuti e di registrarli all'interno dei propri archivi.

Una volta installato questo plugin, puoi decidere se far seguire al motore di ricerca i link che si trovano all'interno della pagina (follow) oppure no (nofollow); allo stesso modo puoi dirgli di ricordarsi i contenuti della pagina (index) oppure no (noindex).

Dato che Misia cercava di scoraggiare i motori di ricerca dall'indicizzare le sue pagine archivio allego questa immagine che dovrebbe chiarire la situazione:

Grazie a WordPress SEO puoi attivare il noindex con quella semplice checkbox e inoltre puoi disattivare completamente gli archivi andando a selezionare la voce sutto.

Spero che questo possa aiutare Misia con il suo problema e gli altri che hanno incontrato lo stesso. Se così non fosse, potete sempre continuare a chiedere

misia

@AndMore said:

Spero che questo possa aiutare Misia con il suo problema e gli altri che hanno incontrato lo stesso. Se così non fosse, potete sempre continuare a chiedere
Grazie mille Andmore e scusate la latitanza dal forum, ma sono stata concentrata per un po' su altri lavori, mettendo da parte il SEO.

Il sito che gestisco ha all in seo pack e mi si pone qualche problema a cambiare pacchetto seo.
Ho trovato comunque nelle impostazioni l'opzione equivalente:
"Use noindex for Archives: " (vedi immagine h tt p://awesomescreenshot.com/0641ev28e9)

Secondo te l'effetto che ottengo è lo stesso? Siamo sicuri che in questo modo deindicizzo solo pagine tipo nomesito.com/2009/06 e non anche i post postati in quel periodo con URL nomesito.com/2009/06/10/nome-post?

GRAZIE mille delle dritte.

misia

Nuovo aggiornamento:
Ho pensato di inserire in disallow nel robots.txt le cartelle di archivio, con la seguenti sintassi:

Disallow: /20*/
Disallow: /20*//
Disallow: /20///
Allow: /20*///*/

Praticamente così blocco indirizzi tipo
miosito.com/2009/
miosito.com/2009/06/
miosito.com/2009/06/12/

Ma consento
miosito.com/2009/06/12/titolo-post.html

Ho fatto un test su webmastertool (salute > url bloccati) e funge...
Che ne pensate?

Giapox

@Misia said:

Che ne pensate?

Dovrebbe andar bene.
Ricorda però che il "Disallow" è soltanto un'indicazione che si da ai motori di ricerca. Non avrai mai la certezza che i tuoi contenuti non vengano indicizzati.

misia

Ciao Giapox,
si, vero, ma invece il meta noindex nell'html? Avrebbe maggiore efficacia e riuscirebbe a far eliminare dall'indicizzazione di Google anche pagine già indicizzate da un po'?
Fammi sapere please :).

Ad ogni modo credo di lasciare questa impostazione per fare un test, così posso avere un riscontro chiaro, che vi riporterò.

Grazie mille, stay tuned.

Giapox

Anche il "noindex" ha la stessa valenza: i motori fanno un po' come vogliono. Normalmente seguono le indicazioni nel file robots.txt o nei metatag, ma non sempre.
Diciamo che di norma, mantenendo il "noindex" in una pagina già indicizzata, dopo un po' di tempo questa dovrebbe venir rimossa dagli indici di Google. Ma ti ripeto, che io sappia, non è una cosa certa.
Se hai una sitemap, ricordati di rimuovere queste pagine anche da li.

Aspettiamo un tuo riscontro.