Googlebot non riesce ad accedere ai file CSS e JS

fra25

Googlebot non riesce ad accedere ai file CSS e JS

GWT mi da questo messaggio su un ecommerce con prestashop ma a me il robots sembra giusto.

Di recente, i sistemi di Google hanno rilevato un problema con la tua home page che influisce negativamente sulla visualizzazione e sull'indicizzazione dei tuoi contenuti da parte dei nostri algoritmi. Nello specifico, Googlebot non può accedere ai tuoi file JavaScript e/o CSS a causa delle limitazioni del tuo file robots.txt. Questi file aiutano Google a comprendere se il tuo sito web funziona correttamente, pertanto bloccare l'accesso a questi asset può causare ranking inferiori a quelli ottimali.

Il mio robots.txt è il seguente:

robots.txt automaticaly generated by PrestaShop e-commerce open-source solution

This file is to prevent the crawling and indexing of certain parts

of your site by web crawlers and spiders run by sites like Yahoo!

and Google. By telling these "robots" where not to go on your site,

you save bandwidth and server resources.

For more information about the robots.txt standard, see:

User-agent: *

Private pages

Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking

Directories

Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
#Disallow: */modules/
Disallow: */translations/
Disallow: */tools/

Files

Disallow: /password-recupero
Disallow: /indirizzo
Disallow: /indirizzi
Disallow: /autenticazione
Disallow: /carrello
Disallow: /sconto
Disallow: /storico-ordine
Disallow: /identita
Disallow: /il-mio-account
Disallow: /seguito-ordine
Disallow: /nota-di-ordine
Disallow: /ordine
Disallow: /cerca
Disallow: /ordine-veloce
Disallow: /ospite-monitoraggio

Sitemap

Sapete dirmi dove è che blocca lo spider?:?

nimue86

Ciao Fra25,
ti consiglierei di passare il sito su Screaming Frog e poi dal menu "Response Codes" scegli il filtro "Blocked by Robots.txt" così puoi avere una lista delle eventuali risorse bloccate da robots.
Spero ti sia utile!
Ciao

fra25

@nimue86 said:

Ciao Fra25,
ti consiglierei di passare il sito su Screaming Frog e poi dal menu "Response Codes" scegli il filtro "Blocked by Robots.txt" così puoi avere una lista delle eventuali risorse bloccate da robots.
Spero ti sia utile!
Ciao

ciao!
ho provato subito... mi da 9 punti, otto dei quali sono tipo:

/carrello?qty=1&id_product=147&token=a5940fddb0cebe0a7d1efc3d0e0859b3&add=

e uno invece è

/autenticazione?back=my-account

In pratica sono i carrelli utenti e l'account. Non mi segnala nessun JS o css.

nimue86

Ok, hai provato anche a guardare dentro Webmaster Tool su Indice Google>Risorse Bloccate ?
Ti dovrebbe dare una lista più completa.
Magari ha una vecchia lista di risorse che per lui sono bloccate, ma che magari non ci sono più (p.e. plugin disinstallati)

fra25

@nimue86 said:

Ok, hai provato anche a guardare dentro Webmaster Tool su Indice Google>Risorse Bloccate ?
Ti dovrebbe dare una lista più completa.
Magari ha una vecchia lista di risorse che per lui sono bloccate, ma che magari non ci sono più (p.e. plugin disinstallati)

allora... in GWT mi dice che ho 26 pagine con risorse bloccate:

16 pagine hanno bloccato: /modules/protect/disable.css (è un modulo che "protegge" i contenuti delle pagine bloccando la copia, il tasto destro, la selezione del testo).
10 pagine hanno bloccato: /modules/productpaymentlogos/img/payment-logo.png

Cioè sarebbe risorse dentro la cartella /modules/ che di default ha il disallow però dal robots dovrebbe essere aperta perchè ho messo il cancelletto davanti, cosi: #Disallow: */modules/

forse devo proprio aprirla e scrivere : allow: */modules/ ?

nimue86

Fai una prova del nove
Vai su Scansione>Tester dei file Robots.txt e prova le url che ti dà come bloccate.
Puoi usare lo strumento anche per testare le modifiche che apporterai al robots.txt per rendere accessibili le risorse

fra25

@nimue86 said:

Fai una prova del nove
Vai su Scansione>Tester dei file Robots.txt e prova le url che ti dà come bloccate.
Puoi usare lo strumento anche per testare le modifiche che apporterai al robots.txt per rendere accessibili le risorse

Fatto, googlebot:

/modules/protect/disable.css me la da CONSENTITO
modules/productpaymentlogos/img/payment-logo.png me la da CONSENTITO

sono un po' confuso

nimue86

Beh l'importante è che Googlebot riesca ad accedere a queste risorse.
Come ultima cosa, fossi in te, proverei un recupero di una delle pagine interessate da queste risorse (anche la Home volendo) su Scansione>Visualizza come Google
Ti dovrebbe fornire un'ultima prova delle risorse eventualmente bloccate.
Poi direi che puoi stare tranquillo

fra25

@nimue86 said:

Beh l'importante è che Googlebot riesca ad accedere a queste risorse.
Come ultima cosa, fossi in te, proverei un recupero di una delle pagine interessate da queste risorse (anche la Home volendo) su Scansione>Visualizza come Google
Ti dovrebbe fornire un'ultima prova delle risorse eventualmente bloccate.
Poi direi che puoi stare tranquillo

lol adesso mi sparo
gli ho dato una pagina di quelle con errori e mi da una lista di css del template e anche di immagini jpg temporaneamente non raggiungibili.
Poi mi elenca anche delle risorse esterne bloccate dal robot, tipo la chat e un js di googleusercontent che non ho capito cosa sia.

nimue86

Si tratta di risorse che ci sono davvero?
Nel senso...un conto è se sono bloccate, un altro è se non sono raggiungibili per altri problemi

fra25

la cosa sembra migliorata, ieri ho scritto nel robots qualche "allow" e ora ho provato a testare le pagine "visualizza come google" , sia l'homepage che alcune di ieri e mi rileva bloccate solamente delle risorse esterne.
Io non ho controllo su queste risorse esterne quindi non posso farci nulla... quindi google non si deve arrabbiare con me, giusto?!

nimue86

Ah bene!
Sì sulle risorse esterne non c'è molto controllo, però la loro incidenza dipende da quanto possono impattare sul sito web e su come lo vedono gli utenti.
Cito la guida di Webmaster Tool:
"Procedi con gli host di cui non hai il controllo e, se le risorse hanno un forte impatto visivo, contatta i webmaster dei siti interessati per chiedere loro se è possibile sbloccare la risorsa per Googlebot o rimuovere la dipendenza della pagina dalla risorsa."

fra25

infatti! Adesso vediamo se GWT mi rimanda un messaggio riguardo a qualche blocco...staremo a vedere. Grazie dell'aiuto!

nimue86

Prego!