Validità links da pagine con restrizioni

vehuel

Validità links da pagine con restrizioni

Mi chiedevo se un link presente su una pagina di un sito, con restrizione nel file robot.txt, (disallow) ha comunque un valore agli occhi del motore di ricerca.
Inoltre esiste qualche tool utile a scoprire i disallow delle pagine?

Grazie.

vnotarfrancesco

Non confondiamo i disallow presenti nel file robots con la possibilità o meno che una pagina possa essere indicizzata.
Venendo al tuo caso, per valutare se un link ha un valore oppure no devi vedere se la pagina è presente nel database del motore di ricerca con il comando site:url
In caso affermativo il link all'interno di quella pagina ha un valore.

Valerio Notarfrancesco

vehuel

Non ho capito quale comando utilizzare.
Ciao.

vnotarfrancesco

Scusami vehuel, mi è scappato un refuso.
Il comando è site:url ad esempio:
site:http://www.giorgiotave.it/forum/posizionamento-nei-motori-di-ricerca/173229-un-sito-copia-i-miei-contenuti-penalizzazioni.html
Non mettere spazi tra site: e l'indirizzo della pagina.

Valerio Notarfrancesco

vehuel

Ne approfitto per chiederti una delucidazione sul disallow. Quindi il disallow serve a dire allo spider di non "scannerizzare" la pagina, ma comunque rimane indicizzata nelle serp?
Non penso di aver capito bene.

Grazie ancora per il tuo aiuto.

vnotarfrancesco

Non proprio.
Il file robots serve solo a bloccare il passaggio diretto dei crawlers dei motori di ricerca, ma se questi arrivano da un link incontrato su una pagina di un sito esterno (un backlinks ad esempio) allora in quel caso leggono la tua pagina e la indicizzano.

@Guida di Strumenti per i Webmaster said:

Anche se Google non eseguirà la scansione o l'indicizzazione dei contenuti delle pagine bloccate dal file robots.txt, potrà comunque indicizzare gli URL trovati su altre pagine web. Di conseguenza, l'URL della pagina e, potenzialmente, anche altre informazioni disponibili pubblicamente, quali il testo di ancoraggio nei link al sito o il titolo fornito dall'Open Directory Project (www.dmoz.org), possono essere visualizzati nei risultati di ricerca di Google.

Per impedire l'indicizzazione occorre inserire nella pagina il meta tag robots con l'indiicazione nofollow.

Valerio Notarfrancesco

vehuel

Finalmente chiaro.

grazie