- Home
- Categorie
- Digital Marketing
- Posizionamento Nei Motori di Ricerca
- Correttezza mio file robots.txt
-
Correttezza mio file robots.txt
Ciao ragazzi,
mi confermate che il mio file Robots.txt, di cui vi mostro il codice qui di seguito, è corretto?######## GRUPPO A ######## User-agent: Googlebot User-agent: Googlebot-Mobile User-agent: Bingbot User-agent: Slurp User-agent: Msnbot Disallow: /risorse/ Allow: /risorse/css/ Allow: /risorse/js/ Disallow: /paginaX Disallow: /paginaY Disallow: /paginaZ ######## GRUPPO B ######## User-agent: * Disallow: /
Quello a cui voglio arrivare è questo:
- Bloccare la scansione a TUTTI i crawler, eccetto Google, Bing, Yahoo! e MSN;
- Google, Bing, Yahoo! e MSN possono accedere a tutto il sito, eccetto la directory "risorse" e le pagine X/Y/Z;
- In "risorse", quindi, non accede a nulla tranne le sotto-directory "css" e "js".
Forse devo aggiungere al GRUPPO A la riga: Allow: / , ovvero:
######## GRUPPO A ######## User-agent: Googlebot User-agent: Googlebot-Mobile User-agent: Bingbot User-agent: Slurp User-agent: Msnbot **Allow: /** Disallow: /risorse/ Allow: /risorse/css/ Allow: /risorse/js/ Disallow: /paginaX Disallow: /paginaY Disallow: /paginaZ ######## GRUPPO B ######## User-agent: * Disallow: /
Grazie a tutti per quanto farete!
Disallow: /pagina1
-
Ciao Siluc, il secondo blocco di codice mi sembra corretto. Dopo la lista di bot accettati è corretto inserire Allow: /