Come risolvere il problema : Googlebot non riesce ad accedere ai file CSS e JS

riga75

Come risolvere il problema : Googlebot non riesce ad accedere ai file CSS e JS

Come molti di tutti noi webmaster in questi giorni sono arrivate delle email dal Serach Console di Goolge con questo tipo di "problema".

Il problema sembra dipendere dal robots.txt
Sono entrato nel search console (vecchio webmastertools) e sono andato in Indice Google - Risorse bloccate e vedo diverse righe tipo

/media/jusertube/mag-popup.css
/components/com_k2/css/k2.css

nel mio file robots.tx ho queste sctringhe

Disallow: /components/
Disallow: /media/

Che faccio le cancello o metto
Allow: /.js
Allow: /.css

Io sapevo che il file robots.txt era nato per "bloccare" e quindi io attuerei la prima soluzione, grazie

stefano

juanin

Ciao Stefano,

il problema è si il robots.txt come spiegavo in passato anche per questa guida Wordpress, ma che è valida per ogni CMS.

Purtroppo tutti i CMS inclusi Wordpress, Joomla, Drupal e chi più ne ha più ne metta utilizzano dei robots.txt parecchio estrosi di default e che non hanno alcun senso nel 99.9% dei casi perché il punto dove risolvere eventuali problemi deve essere a livello applicativo e non a livello di blocco e questo per tanti motivi. In questa discussione ci sono delle considerazioni.

Detto questo se proprio si ha la necessità di bloccare alcune cartelle o altri percorsi perché lo si evince dai log di accesso dei vari bot allora un modo semplice per consentire l'accesso ai CSS e/o JS è quello di mettere una dicitura che rispecchi le regole presenti qua https://support.google.com/webmasters/answer/6062596?hl=it&ref_topic=6061961 sempre considerando solo Google.

Tendenzialmente l'utilizzo di allow è fuori standard quindi non tutti i bot potrebbero rispettarlo. Google lo supporta e credo che il 99% delle persone siano interessato a questo.

In alternativa i metodi per l'allow dovrebbero andar bene in ogni modo come anche segnalato da te Stefano. In ogni caso basta fare qualche prova all'interno di Search Console con il tester robots.txt

glm2006italy

Con WordPress sto avendo problemi....

Nel mio robots.txt avevo inserito
User-agent: *
Disallow: /wp-
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/

Oggi ho provato
Allow: *.css$
Allow: *.js$

Ma non pare funzioni...

juanin

Ciao glm2006ITALY.

In primis ti consiglio di leggere i link segnalati nel mio commento sopra.

Se invece non hai tempo e voglia e comunque vuoi continuare a bloccare cose inutili puoi provare a inserire la regola specifica per Googlebot


User-agent: Googlebot
Allow: *.css
Allow: *.js

ma in teoria in questo caso bloccando più nello specifico sopra alcune cartelle devi fare in modo più esplicito come segue.


User-agent: Googlebot
Allow: /wp-includes/*.css
Allow: /wp-includes/*.js
etc etc...

Questo perché le regole più specifiche hanno la precedenza.

glm2006italy

Perfetto... così funziona

Se blocco cose inutili lasciamole pure bloccate ahahaha