-
Crawl errors
Ciao a tutti,
per un mio sito il webmaster tool mi indica come "Crawl errors" le pagine con restrizione indicate nel file robots.txt.
Essendo un sito con pagine dinamiche, le restrizioni sono veramente tante.
E' normale che vengano segnalati questi errori? Per lo più dovevo operare diversamente per evitare l'indicizzazione di queste pagine ?
Grazie per il vostro aiuto.
-
Le pagine bloccate dal file robots vengono segnalate ed è normale.
Attenzione che il blocco nel file robots vale solo per il crawler che scansiona il tuo sito, non blocca l'indicizzazione delle pagine se Google trova un link al di fuori del tuo sito e lo segue.Per evitare l'indicizzazione di una pagina inserisci nella sezione head il meta tag noindex in questo modo: <meta name="robots" content="noindex" />
Essendo pagine dinamiche puoi in base a dei parametri inserire o no il meta tag.Valerio Notarfrancesco
-
Ciao e grazie per la tua risposta
In merito al noindex non ci sono problemi in quanto avevo già inserito il meta.
Allora sono in regola
Grazie.
