Mi spieghi quale è il motivo per avere questo robots.txt?

User-agent: *
Disallow: /*?
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /htdocs/
User-agent: Mediapartners-Google
Disallow:
Sitemap: http://www.guidacontionline.it/sitemap.xml.gz

Il tuo dubbio a cosa si riferisce?

A quale linea del file robots.txt ti riferisci?!

In generale a tutte.

Su che base hai fatto queste scelte?

/*? per evitare che indicizzasse pagine dinamiche

tutto il resto per evitare che indicizzasse pagine relative alla struttura del sito e quindi inutili

Non c'è motivo per cui il bot passi su sezioni Wordpress note.

Quello che posso consigliarti è di non bloccare assolutamente il bot verso le risorse di struttura (ossia il template, css, js etc etc).

Lascia il robots.txt di default di Wordpress perché il resto è solitamente inutile. Qualora dai log ti accorgessi che il bot passa su pagine dove non dovrebbe passare allora sì che puoi bloccare il crawling, ma non a priori.

Bloccare wp-content è un errore madornale perché li sotto ci sono oltre alle immagini anche tutti i file di stile e di interattività.

@Juanin said:

Non c'è motivo per cui il bot passi su sezioni Wordpress note.

Quello che posso consigliarti è di non bloccare assolutamente il bot verso le risorse di struttura (ossia il template, css, js etc etc).

Lascia il robots.txt di default di Wordpress perché il resto è solitamente inutile. Qualora dai log ti accorgessi che il bot passa su pagine dove non dovrebbe passare allora sì che puoi bloccare il crawling, ma non a priori.

Bloccare wp-content è un errore madornale perché li sotto ci sono oltre alle immagini anche tutti i file di stile e di interattività.

Ritieni quindi che la penalizzazione sia dovuta a questo?
Come lo terresti tu il robots? Quale stringhe terresti!?

Non so se questo è il motivo, ma so che sicuramente non è una cosa corretta.

Senza poter vedere i log lo terrei inizialmente come lo standard di WP

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

@dani81 said:

Ah una curiosità. Quando mi indicizza le pagine, non mi considera piu' i rich snippet nonostante quando provi la pagina col tool me la faccia vedere correttamente

Anche a me sta capitando questa cosa, ma noto che l'immagine autore è presente per gli articoli pubblicati nelle ultime due settimane mentre è sparita per tutti quelli più vecchi.

Sarà qualche altro esperimento che Big G. fa sulla pelle dei webmaster.

Già...ho appena terminato di eliminare i rich snippet per capire se mi aveva penalizzato e vedere se mi lascia l'autore.