Come utilizzare il file Robots.txt

[smosh]

Come utilizzare il file Robots.txt

Salve
Come utilizzare questo file ? Robots.txt

Cosa inserire nel file?
Grazie, sicuramente c'era gia una discussione, ma ne voglio sapere meglio qui:

[wingroup]

Il file robots.txt dà indicazioni agli spiders dei vari motori di ricerca su come comportarsi nella scansione del sito o meglio indica quali parti del sito NON scansionare.
E' un semplice file di testo che puoi fare con il blocco note ed ha due voci principali:
User-agent che indica a quali motori di ricerca ti stai riferendo (google ad esempio ha lo spider chiamato googlebot)
Disallow che indicherà agli spiders quali pagine o directory ignorare nella scansione

Un esempio di robots che indica a tutti i motori di ricerca di entrare nel sito a prendersi tutte le pagine è:

User-agent: *
Disallow:

Se invece vuoi dire solo a google, e non a tutti gli altri motori, di non scansionare la pagina tuosito.it/antani.html devi inserire nel robots:

User-agent: googlebot
Disallow: /antani.html

Per disabilitare la scansione ad es. su tutta la cartella 'fotografie' da parte di tutti gli spider:

User-agent: *
Disallow: /fotografie/

Ricorda che il file deve chiamarsi robots.txt e lo devi pubblicare nella root del tuo sito.

[rambo93]

scusate l'intrusione e come si fa a pubblicarlo nella root del sito??? perke io sono su forumfree.net non so come si procede grazie mille in anticipo^^.

[smosh]

Non si puo fare,dovresti avere uno spazio in cui inserire il file.

[smosh]

E pensare che in un sito aperto piu da un mese, avevo nel robots inserite molte pagine, dato che credevo che invece il risultato era quello di sollecitare i motori a indicizzare...

[shablo2000]

Ciao a tutti io ho appena messo inserito questo fantomatico file di testo robots.txt con scritto:
User-agent: *
Disallow:

Questo significa che permetto a tutti gli spider compreso googlebot di scansionare le pagine del mio sito e quindi avere una possibilità in più di essere trovato su google??
HELP me!!!!
thanks!

[tjboss]

@shablo2000 said:

Questo significa che permetto a tutti gli spider compreso googlebot di scansionare le pagine del mio sito e quindi avere una possibilità in più di essere trovato su google??

permetti di scansionare tutte le directory accessibili dalla root del tuo sito, ma ciò non vuol dire che hai più possibilità di essere trovato su google, a meno che prima non avessi dei disallow per delle pagine pubblicate (che quindi volevi far indicizzare)

[donbairo]

In questo caso conviene solo inserire il file robots.txt completamente vuoto, ha lo stesso risultato e non crea errori di interpretazione.

Il file è sempre bene che sia presente ma va utilizzato con la sua sintassi specifica solo per bloccare determinati file o dir oppure per indicare la presenza della sitemap tipo:

auto-discovery directive

Sitemap: http : // www . tiziocaiosempronio . it/sitemap.xml

Saluti

[shablo2000]

Grazie mille per il consiglio;
Se avete altri suggerimenti per l'indicizzazione fatemi sapere qualcosa visto che sto impazzendo..
La sitemap è ok
il file robots.txt è ok
le meta tag sono ok
il mio url l'ho aggiunto..
Cos'altro???
Thanks