• Moderatore

    Come risolvere il problema : Googlebot non riesce ad accedere ai file CSS e JS

    Come molti di tutti noi webmaster in questi giorni sono arrivate delle email dal Serach Console di Goolge con questo tipo di "problema".

    Il problema sembra dipendere dal robots.txt
    Sono entrato nel search console (vecchio webmastertools) e sono andato in Indice Google - Risorse bloccate e vedo diverse righe tipo

    /media/jusertube/mag-popup.css
    /components/com_k2/css/k2.css

    nel mio file robots.tx ho queste sctringhe

    Disallow: /components/
    Disallow: /media/

    Che faccio le cancello o metto
    Allow: /.js
    Allow: /.css

    Io sapevo che il file robots.txt era nato per "bloccare" e quindi io attuerei la prima soluzione, grazie

    stefano


  • Admin

    Ciao Stefano,

    il problema è si il robots.txt come spiegavo in passato anche per questa guida Wordpress, ma che è valida per ogni CMS.

    Purtroppo tutti i CMS inclusi Wordpress, Joomla, Drupal e chi più ne ha più ne metta utilizzano dei robots.txt parecchio estrosi di default e che non hanno alcun senso nel 99.9% dei casi perché il punto dove risolvere eventuali problemi deve essere a livello applicativo e non a livello di blocco e questo per tanti motivi. In questa discussione ci sono delle considerazioni.

    Detto questo se proprio si ha la necessità di bloccare alcune cartelle o altri percorsi perché lo si evince dai log di accesso dei vari bot allora un modo semplice per consentire l'accesso ai CSS e/o JS è quello di mettere una dicitura che rispecchi le regole presenti qua https://support.google.com/webmasters/answer/6062596?hl=it&ref_topic=6061961 sempre considerando solo Google.

    Tendenzialmente l'utilizzo di allow è fuori standard quindi non tutti i bot potrebbero rispettarlo. Google lo supporta e credo che il 99% delle persone siano interessato a questo.

    In alternativa i metodi per l'allow dovrebbero andar bene in ogni modo come anche segnalato da te Stefano. In ogni caso basta fare qualche prova all'interno di Search Console con il tester robots.txt


  • User Attivo

    Con WordPress sto avendo problemi....

    Nel mio robots.txt avevo inserito
    User-agent: *
    Disallow: /wp-
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/

    Oggi ho provato
    Allow: *.css$
    Allow: *.js$

    Ma non pare funzioni...


  • Admin

    Ciao glm2006ITALY.

    In primis ti consiglio di leggere i link segnalati nel mio commento sopra.

    Se invece non hai tempo e voglia e comunque vuoi continuare a bloccare cose inutili puoi provare a inserire la regola specifica per Googlebot

    
    User-agent: Googlebot
    Allow: *.css
    Allow: *.js
    
    

    ma in teoria in questo caso bloccando più nello specifico sopra alcune cartelle devi fare in modo più esplicito come segue.

    
    User-agent: Googlebot
    Allow: /wp-includes/*.css
    Allow: /wp-includes/*.js
    etc etc...
    
    

    Questo perché le regole più specifiche hanno la precedenza.


  • User Attivo

    Perfetto... così funziona 😄

    Se blocco cose inutili lasciamole pure bloccate ahahaha :quote: