come creare un file robots.txt??

angelo85ct

come creare un file robots.txt??

salve ragazzi, ho bisogno dell'aiuto di qualcuno che ne capisca, a cosa servono i file robots.txt??

io credevo che servissero ad escludere alcune cartelle di un sito, invece mi hanno detto che servono per segnalare le site map ....

Chi mi puo' dire a cosa servono e come le devo implementare???

o se basta solo la site map per una buona indicizzazione

HELP MEx:x

cassiopea

Dipende, se hai un sito statico ti basta la sitemap, se invece è dinamico tipo wordpress o joomla devi usare il file robots per ecludere alcune cartelle tipo i tag per evitare che vengano indicizzate e producano pagine duplicate.
Per segnalare la sitemap devi iscriverti agli strumenti per webmaster di Google e da lì la segnali.

angelo85ct

il sito è in php,

cassiopea

Per la sitemap puoi andare qui a farla: http://www.tuttowebmaster.eu/
Ricordati di cliccare su sitemap per google così la fà in xml.Poi la scarichi e tramite ftp la metti sul server e poi la segnali tramite strumenti per webmaster.
Così però devi ogni volta aggiornarla a mano.
Se invece utilizzi worpress o altri CMS devi cercarti dei plugin o componenti adatti.
Per il file robots puoi andare a vedere su strumenti per webmaster di Google e sotto configurazione sito e accesso ai crawler puoi farlo da lì.

motorpsycho

Ho un dubbio anche io...
vorrei escludere la cartella che contiene il guestbook in un sito dinamico (php)... se faccio

User-agent: *
Disallow: /cartella_guestbook/

Cosa succede? il guestbook è ovviamente linkato nel resto del sito. Tutto il sito è sprovvisto di meta tags per i robots, vorrei metterli solo nelle pagine del guesbook. Ma ho un dubbio. Se metto

il nofollow crea qualche problema per il resto del sito?
(non so se mi sono fatto capire)

in sostanza, quale via migliore secondo voi per nascondere agli spider quella cartella?

ciao

alexberlato

Il file robots.txt serve anche per segnalare la sitemap.
Quando uno spider legge il file se trova la direttiva corrispondente si va a leggere la sitemap.

Ecco un esempio di file robots solo per segnalare la sitemap:

User-agent: *
Sitemap: /sitemap.xml

Poi ovviamente per accelerare le cose conviene fare il submit manuale della sitemap tramite gli strumenti forniti dal motore di ricerca.