File Robots

[sesaser]

File Robots

Ciao a a tutti,

un quesito a cui non trovo risposta su internet.

Riporto un esempio di configurazione di un file Robots:

######################

User-agent: *

Allow: /

Disallow: /cartella1/cartella2/

######################

Domanda:

In questa configurazione allo spider viene impedito di accedere alla Cartella1 e alla Cartella2 oppure lo spider legge il contenuto della Cartella1 e quello della Cartella2 no?? oppure non legge nessuna delle due??

la mia necessità è di consentire allo spider di poter accedere alla Cartella1 scansionando tutti i file al suo interno, e impedire l'acccesso alla subdirectory Cartella2.

Spero di essere stato abbastanza chiaro.

Sapete darmi una corretta configurazione al file in relazione alla mia esigenza?

Grazie mille,

Sandro

[studiograficoroma]

Ciao sesaser,
in questo modo indichi agli spider di non leggere tutto il contenuto della cartella2, invece la cartella1 viene indicizzata.
Se ad esempio non vuoi indicizzare una cartella www.miosito.est/en ed inserisco nel robots

Disallow: /en/

allora non dovrebbe indicizzarmi neache tutto il resto della root!

Spero di essere stato chiaro, altrimenti chiedi pure.

Ciao

[sesaser]

grazie mille sei stato gentilissimo !!!