Serve ad escludere alcune cartelle dall'indicizzazione (vieta l'accesso allo spider) oppure esclude l'accesso soltanto a certi spider per determinate cartelle del sito (o all'intero sito). Visita http://www.robotstxt.org/wc/robots.html

Ciao

Robots.txt serve a escludere alcune pagine dal processo di indicizzazione di google.
Puoi trovare info nella guida al posizionamento scritta da Giorgiotave qui:
http://www.giorgiotave.it/guida_posizionamento_nei_motori_di_ricerca/file_robots.php

L'uso è il seguente.
[php]
User-agent: *
Disallow: /pagina.php[/php]

User-agent è il motore di ricerca che vuoi non indicizzi la pagina,ad esempio Googlebot. Oppure puoi mettere * che blocca tutti i motori.
Dopo "disallow" devi mettere il nome della pagina da non indicizzare.
Spero di essere stato chiaro e utile,in caso di problemi o spiegazioni siamo qui
ciao!

ok capito.
Praticamente se voglio che gli spider prelevino tutti i file del mio sito
devo scrivere così : http://www.inizioweb.net/robots.txt

Ma perchè vietare alcuni file o cartelle?(non è meglio avere più pagine possibile indicizzate)

Ciao e grazie

@inizioweb said:

ok capito.
Praticamente se voglio che gli spider prelevino tutti i file del mio sito
devo scrivere così : http://www.inizioweb.net/robots.txt

Ma perchè vietare alcuni file o cartelle?(non è meglio avere più pagine possibile indicizzate)

Ciao e grazie
Nel caso di cms ad esempio sono messe le cartelle di eventuali componenti.

ok.
Grazie A tutti di nuovo.

Ciao

ciao ne approfitto per chiedermi se nel caso di cms tipo oscommerce o PhpBB forum, il file robots va messo nella cartella principale del sito?? o del progetto? E a sua volta inserito in cartelle di altri cms installati?

Oppure puo' essere inserito nella cartella principale del dominio, a questa maniera

disallow: csm/catalogo

per disabilitare dall'indicizzazione l'intera cartella al percorso csm/catalogo?

St@edo_flashas said:

ciao ne approfitto per chiedermi se nel caso di cms tipo oscommerce o PhpBB forum, il file robots va messo nella cartella principale del sito?? o del progetto? E a sua volta inserito in cartelle di altri cms installati?

Oppure puo' essere inserito nella cartella principale del dominio, a questa maniera

disallow: csm/catalogo

per disabilitare dall'indicizzazione l'intera cartella al percorso csm/catalogo?

Stà nella cartella pubblica del sito. Al suo interno come hai scritto puoi disabilitare l' indicizzazione dell'intera cartella o come riportato sopra di un singolo file.

Può essere inserito nella root,poi con Disallow metti il percorso RELATIVO delle cartelle o dei files da escludere.
Per esempio:
[php] Disallow: /cartella/cartella1/
Disallow: /cartella/sottocartella2/
Disallow: /cartella/sottocartella3/file.php [/php]
ciao!

*/ quando si usa ?

@probid said:

Può essere inserito nella root,poi con Disallow metti il percorso RELATIVO delle cartelle o dei files da escludere.
Per esempio:
[php] Disallow: /cartella/cartella1/
Disallow: /cartella/sottocartella2/
Disallow: /cartella/sottocartella3/file.php [/php]ciao!

grazie..