• User Newbie

    Correttezza mio file robots.txt

    Ciao ragazzi,
    mi confermate che il mio file Robots.txt, di cui vi mostro il codice qui di seguito, è corretto?

    
    ######## GRUPPO A ########
    User-agent: Googlebot
    User-agent: Googlebot-Mobile
    User-agent: Bingbot
    User-agent: Slurp
    User-agent: Msnbot
    Disallow: /risorse/
    Allow: /risorse/css/
    Allow: /risorse/js/
    Disallow: /paginaX
    Disallow: /paginaY
    Disallow: /paginaZ
    
    ######## GRUPPO B ########
    User-agent: *
    Disallow: /
    
    

    Quello a cui voglio arrivare è questo:

    • Bloccare la scansione a TUTTI i crawler, eccetto Google, Bing, Yahoo! e MSN;
    • Google, Bing, Yahoo! e MSN possono accedere a tutto il sito, eccetto la directory "risorse" e le pagine X/Y/Z;
    • In "risorse", quindi, non accede a nulla tranne le sotto-directory "css" e "js".

    Forse devo aggiungere al GRUPPO A la riga: Allow: / , ovvero:

    
    ######## GRUPPO A ########
    User-agent: Googlebot
    User-agent: Googlebot-Mobile
    User-agent: Bingbot
    User-agent: Slurp
    User-agent: Msnbot
    **Allow: /**
    Disallow: /risorse/
    Allow: /risorse/css/
    Allow: /risorse/js/
    Disallow: /paginaX
    Disallow: /paginaY
    Disallow: /paginaZ
    
    ######## GRUPPO B ########
    User-agent: *
    Disallow: /
    
    

    Grazie a tutti per quanto farete!
    Disallow: /pagina1


  • User

    Ciao Siluc, il secondo blocco di codice mi sembra corretto. Dopo la lista di bot accettati è corretto inserire Allow: /