Inclusione di alcune directory in robots.txt

alad

Inclusione di alcune directory in robots.txt

Ciao,
vorrei un consiglio riguardo l'inclusione o meno di alcune directory nel file robots.txt.

Ho un server IIS così organizzato:

dir1
dir2
dir3
dir4
robots.txt

quando si accede all'indirizzo "VuVuVuDot mioindirizzo DotIt" viene effettuato un reindirizzamento al file index.html presente nella directory "dir3"; quindi anziché scrivere "VuVuVuDot mioindirizzo DotItSlash dir3 Slash index.html" per caricare la home è sufficiente scrivere "VuVuVuDot mioindirizzo DotIt".

La domanda: in presenza del sopradescritto reindirizzamento, in robots.txt è necessario inibire l'accesso alle directory "dir1", "dir2", "dir4"? Grazie!

vnotarfrancesco

Cosa c'è nelle directory "dir1", "dir2", "dir4"?

Valerio Notarfrancesco

alad

Ci sono alcuni files che potrebbero generare contenuto duplicato.

vnotarfrancesco

Se i file presenti in quelle directory possono generare contenuti duplicati allora sarebbe meglio impedirne direttamente l'indicizzazione usando il metatag noindex.
Se sono files html inserisci questo metatag nella sezione head del file:

Se invece sono files di altro tipo devi inviare il noindex nelle intestazioni http.
Ad esempio, se sono files pdf e usi Apache, aggiungi queste istruzioni al file .htaccess:

<Files ~ ".pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</Files>

Valerio Notarfrancesco

alad

@vnotarfrancesco said:

Se invece sono files di altro tipo devi inviare il noindex nelle intestazioni http.
Ad esempio, se sono files pdf e usi Apache, aggiungi queste istruzioni al file .htaccess:

Il server è Windows, invece di utilizzare il file .htaccess come posso procedere in questo caso?

vnotarfrancesco

Non conosco Windows.
Devi trovare la funzione per inviare l'intestazione http X-Robots-Tag: noindex

Valerio Notarfrancesco

alad

Ok grazie!
Posso risolvere anche inserendo nel file robots.txt i seguenti comandi?


User-agent: *
Disallow: /dir1/
Disallow: /dir2/
Disallow: /dir4/

vnotarfrancesco

No, anzi, potresti ottenere effetti indesiderati.
Le esclusioni nel file robots.txt servono solo a impedire il passaggio del crawler e non a non far indicizzare i files.
Se Google trova dei riferimenti a un file contenuto in una cartella bloccata dal file robots, lui indicizza ugualmente la risorsa ma non ne potrà elaborare il contenuto, ad esempio non ne leggerà la description se è una pagina html.

Valerio Notarfrancesco

alad

Ok grazie. Comunque i files presenti in quelle cartelle sono completamente scollegati da sito e non esiste alcun riferimento verso di essi.