-
robots.txt
Non mi interessa disabilitare l'indicizzazione di determinate cartelle o file da parte degli spider e ho ripulito il sito da pagine di test, pagine in costruzione, pagine "brutte", etc. Anche se non per mi serve per le sue funzioni ho deciso di inserire il file robots.txt sperando che ciò mi aiuti nell'indicizzazione nei motori di ricerca, anche se non ho capito come e perchè. In ogni caso dato che non mi costa nulla il robots lo metto. Per fare in modo che non ci sia nessuna disabilitazione va bene una cosa così scritta con blocco note :
/robots.txt file for http://www.utopie.org/
mail [email][email protected][/email] for constructive criticism
User-agent: utopie
Disallow:l'esempio che faccio sopra va bene? Non mi è chiaro cosa mettere (o non mettere) dopo "User-agent"... ve bene anche un nome di fantasia? Per favore fattemelo sapere così lo metto on line. grazie
-
Tramite il file robots.txt è possibile indicare quali sezioni del sito è possibile indicizzare, o restringere il campo di azione di determinati spider. Tutto questo va gestito tramite il file robots.txt da porre nella directory principale del dominio. (www.dominio.com/robots.txt). Il file in questione è composto da alcune direttive che gli spider comprendono come istruzioni da eseguire per poter leggere o meno delle sezioni del sito. User-agent indica lo spider che deve prestare attenzione all’istruzione seguente e tramite il carattere * indica che la direttiva seguente è valida per tutti gli spider. Disallow deve essere preceduta da User-agent e indica quali cartelle non devono essere indicizzate, nel caso si lascia in bianco si da l’accesso a tutto il sito. Ecco alcuni esempi esplicativi.
Escludere tutti i file presenti nel domnio a tutti i robots
User-agent: *
Disallow: /
Consentire l’accesso a tutti gli spider
User-agent: *
Disallow:
(questa definizione equivale a non inserire il file robots.txt)
Escludere tutti i robots da determinate cartelle
User-agent: *
Disallow: /cgi-bin/
Disallow: /secret/
Escludere un determinato robot dalla lettura di alcune cartelle
User-agent: Scooter
Disallow: /cgi-bin/
Disallow: /secret/
Se non si ha l’accesso in scrittura sul server è possibile pilotare l’accesso alle pagine trmaite il meta tag ROBOTS con la seguente sintassi:
<meta name=’robots’ conten=’noindex,nofollow’>
http://www.robotstxt.org/wc/robots.html
-
Perfetto!
Dunque nel mio caso inserisco
User-agent: *
Disallow:
Thanks
-
si così hai aggiunto un tassello alla tua cultura SEO
