Puoi fare il copia e incolla di alcune di quelle righe?
Togli però http:// e il nome del tuo dominio, così non diventano link attivi e mantieni la privacy.

questi sono quelli nella colonna "soggetto a limitazioni da robots", e ne ho altri 1600. ho visto che la prima pagina di link sono stati visionati dal crawler il 5 novembre, ma gli altri piu vecchi non sono stati ricontrollati...ma rimane il fatto che ne sono usciti di nuovi il giorno che avevo settato tutto bene.

/forum/showthread.php?301-One-piece-pop-silvers-rayleigh&p=1266
URL limitato da robots.txt 05/nov/2011
/forum/showthread.php?194-P.O.P.-quot-Sailing-Again-quot-Chopper
URL limitato da robots.txt 05/nov/2011
/forum/tags.php?tag=catherine
URL limitato da robots.txt 05/nov/2011
/forum/showthread.php?t=446&goto=newpost
URL limitato da robots.txt 05/nov/2011
/forum/showthread.php?t=450&goto=newpost
URL limitato da robots.txt 05/nov/2011
/forum/tags.php?tag=site
URL limitato da robots.txt 05/nov/2011
/forum/tags.php?tag=guida
URL limitato da robots.txt 05/nov/2011
/forum/external.php?type=RSS2&forumids=67
URL limitato da robots.txt 05/nov/2011
/forum/showthread.php?t=112&goto=newpost
URL limitato da robots.txt 05/nov/2011
/forum/showthread.php?t=456&goto=newpost
URL limitato da robots.txt 05/nov/2011
/forum/showthread.php?298-Ciao-a-tutti!
URL limitato da robots.txt 05/nov/2011

questi invece sono nella colonna "nella sitemap", e listati ce ne sono sui 124

/forum/showthread.php?349-vendo-Thousand-Sunny-
URL limitato da robots.txt
non disponibile
05/nov/2011
/forum/showthread.php?15-DX08-Batman(1989)-1-6th-scale-Joker
URL limitato da robots.txt
non disponibile
05/nov/2011
/forum/forumdisplay.php?26-Varie
URL limitato da robots.txt
non disponibile
05/nov/2011
/forum/forumdisplay.php?52-Cinema-e-TV
URL limitato da robots.txt
non disponibile
05/nov/2011
/forum/showthread.php?336-Mikuru-Asahina-1-8-(Figure)
URL limitato da robots.txt
non disponibile
05/nov/2011

Sto vedendo che col passare dei giorni, piano, molto piano stanno diminuendo i link soggetti a restrizioni. Erano arrivati a 1650 e ieri a 1635 e oggi a 1619...è segno buono? Nonostante questo mi rimane giornalmente 2 o 3 link bloccati di questo genere:

/category/americane/recensioni-americane
/category/video
/wp-admin/admin-ajax.php

i file in questione sono riferiti a wordpress.

@Amaca said:

Sto vedendo che col passare dei giorni, piano, molto piano stanno diminuendo i link soggetti a restrizioni. Erano arrivati a 1650 e ieri a 1635 e oggi a 1619...è segno buono?

Si.

Quello è come un normale file di log (o registro) eventi (di solito errori), e quindi funziona in questo modo.

Quando si verifica un errore viene aggiunta una riga, la quale poi non viene eliminata quando l'errore viene corretto, bensì quando passa tot tempo dalla sua registrazione e/o il registro raggiunge una certa capienza.

Quindi è normale che adesso si "sgonfi" lentamente.

@Amaca said:

Nonostante questo mi rimane giornalmente 2 o 3 link bloccati di questo genere:
/category/americane/recensioni-americane
/category/video
/wp-admin/admin-ajax.php

i file in questione sono riferiti a wordpress.

Sta semplicemente facendo quello che gli hai ordinato tu tramite robots.txt:
@Amaca said:

Disallow: /wp-
Disallow: /category/

Infatti sta continuando a scendere pian piano giornalmente!!!! ah, quindi ho bloccato stupidamente le catogorie! Errori da principiante

Non so come ringraziarti Webmaster! sei un grande!!! non sarei mai riuscito a risolvere la questione senza di te e sta mitica community, sempre i numeri uno!!!

un'ultima piccola cosa: sto notando che mi arriva tantissimo traffico su una pagina del forum che praticamente è vuota. probabilmente ho settato male il forum che ha inserito un url scorretto nella sitemap.

c è un modo sui webmaster tool di ricercare quel particolare url per poterlo analizzare e trovare magari qualche indizio?

@Amaca said:

un'ultima piccola cosa: sto notando che mi arriva tantissimo traffico su una pagina del forum che praticamente è vuota. probabilmente ho settato male il forum che ha inserito un url scorretto nella sitemap.

c è un modo sui webmaster tool di ricercare quel particolare url per poterlo analizzare e trovare magari qualche indizio?

Ok ho risolto quel discorso li! Era una cavolata

Per le categorie in realtà mi sono ricordato il motivo per cui le bloccavo...avevo letto in giro che avendo molte categorie, c era il rischio di creare contenuti duplicati, poichè le categorie andavano a pescare articoli a volte uguali...potrebbe essere saggio continuare a bloccarle oppure no?

Si Amaca, categorie e tags possono creare problemi di contenuti duplicati.

Metterle in disallow nel robots.txt è una soluzione, ma per me non è quella ottimale. Io farei così.

• Usa o le categorie o i tags, non entrambi.

• Se usi i tags, non assegnarne più di 4-5 per ogni articolo, cercando di riutilizzare gli stessi.

• Nelle pagine tags o categorie non mostrare tutto l'articolo, ma solo titolo + abstract, oppure solo titolo.

• Togli le righe relative a tags e categorie nel robots.txt.

Quanto detto sopra è un mio convinto parere, e non una assodata prescrizione sulle quali tutti concordano, vedi tu.

Secondo me è un'ottima soluzione, l'alternativa oltre al disallow è il nofollow sulle categorie e sui tags.

Non ho usato dei tags, ma ho creato delle tassonomie personalizzate con la possibilità di aggiungere figli...a conti fatti li utilizzo come se fossero tag, ma con la possibilità di categorizzarli in tassonomie padre. Sono lo stesso considerate categorie? spero di essere stato chiaro, altrimenti chiedetemi!

Vale lo stesso discorso di non associare piu di 4 o 5 tassonomie a post?

Per ora visualizzo titolo e la parte iniziale dell'articolo nella pagine relative alle tassonomie e categorie, che viene tagliato in automatico. sarebbe piu oppurtuno usare i "riassunti"?

comunque anche l idea del nofollow non è sbagliata.

Il discorso è uguale, non assegnare troppe categorie, tag o tassonomie per articolo.

I riassunti sono meglio degli articoli troncati, però se li devi a mano fare esclusivamente per questo, non ne vale la pena, perché bastano le altre precauzioni.

Riguardo al nofollow ... idem al disallow, previene contenuti duplicati (grave problema) ma comporta perdita di link juice (piccolo problema), per me.