- Home
- Categorie
- Digital Marketing
- SEO
- File Robots.txt come consentire l'accesso a tutto il sito
-
File Robots.txt come consentire l'accesso a tutto il sito
Ciao a tutti, purtroppo mi ritrovo un po ignorante per quanto riguarda il file robots.txt, ho letto alcune guide nel web ma non sono riuscito a capire cosa inserire nel file per consentire a tutti i robot di indicizzare tutte le pagine del mio sito?
Ovvio, la parte admin no come altre cartelle.
Grazie mille per il vostro aiuto,
Marco.
-
Per permettere a qualsiasi spider di indicizzare tutti i contenuti di un sito è sufficiente inserire la seguente direttiva nel file robots.txt che deve essere presente nella directory root (radice) del sito:
User-agent: *
Disallow:In questo modo rendi accessibile a qualsiasi Crowler (direttiva* User-agent:**) ogni contenuto del sito (direttiva Disallow:).
In alternativa puoi creare un file robots.txt vuoto (ma lo sconsiglio)
Marco Puccetti
-
Lo avevo creato difatti vuoto, meglio a saperlo.
Allora inserisco semplicementeUser-agent: *
Disallow:e se volessi però limitare l'accesso alla directory admin o altre dovrei aggiungere:
User-agent: *
Disallow: /admin? Inoltre ho creato una sitemap.xml può andar bene lo stesso? non crea nessun tipo di conflitto?
-
No anzi devi crearla la sitemap.xml contenente i contenuti del sito.
Marco Puccetti
-
Perfetto, grazie mille.
