penalizzazione per url limitati da robots.txt

[asso82]

penalizzazione per url limitati da robots.txt

Ciao a tutti.
Vorrei sapere se è penalizzante limitare la scansione di alcune pagine a googlebot tramite robots.txt
La pagina del mio account su google mi segnala la bellezza di 150 url limitate.

Cosa ne pensate?

Grazie

[emanuelebolondi]

Ciao asso82,

Tramite il robots.txt si possono fare diverse cose, tra cui impedire agli spider dei motori di ricerca di visualizzare alcune pagine.

E' una funziona specifica messa a disposizione, perchè dovrebbe penalizzarti?

Come hai impostato il tuo robots.txt, utilizzi un cms?

[asso82]

@bocas said:

Come hai impostato il tuo robots.txt, utilizzi un cms?

Sinceramente non so nemmeno cosa sia un cms.

Questo è il codice del mio robots.txt:

 
 
User-agent: *
Disallow: /cartella1/
Disallow: /cartella2/ 
Disallow: /cartella3/
Disallow: /file.php

E' scritto in maniera corretta o suggerisci un altra implementazione?

[emanuelebolondi]

Se vuoi inpedire l'accesso alle cartelle nominate , si

Altre informazioni sul robots.txt puoi trovarle in questo post segnalatomi da cionfs.