- Home
- Categorie
- Digital Marketing
- Posizionamento Nei Motori di Ricerca
- Robots.txt: allow su file js e css senza farli indicizzare: si può?
-
Robots.txt: allow su file js e css senza farli indicizzare: si può?
Ciao a tutti,
oggi facendo alcuni test con il tool "Visualizza come googleBot" mi sono reso conto che google leggeva solo il 30% del contenuto delle pagine del mio sito. Questo perchè tramite il file robots.txt gli bloccavo l'accesso ai file js e alle cartelle dove punto per alcune chiamate Ajax.
Adesso volevo chiedere a voi esperti: c'è modo tramite il robots.txt di dar accesso a google a questi file e cartelle (js, css) senza farli indicizzare?
Al momento ho dovuto mettere il classico:
allow /ajax/
Allow: /.js$
Allow: /.css$Pero facendo cosi credo che entro breve tempo mi ritrovo ad aver indicizzato tutti i file js e gli url delle cartella ajax.
Qualcuno ha qualche dritta?
Grazie
-
Ciao Dpmika,
ti ho spostato nella sezione indicizzazione
Credo di non aver capito. Potresti farmi un esempio reale con qualche file e il risultato che vorresti ottenere?
-
Cerco di spiegarti la situazione brevemente.
Ho un ecommerce fatto su magento e sulla pagina del prodotto, utilizzo delle api per recuperare l'applicabilità del prodotto sul veicolo e le caratteristiche.
Questi dati che leggo dalle api esterne le carico in modo asincrono tramite due chiamate ajax. Adesso ieri ho notato che tramite il tool "visualizza come googleBot" la pagina non veniva caricata correttamente, e che i dati provenienti dalle chiamate ajax non veniva completamente lette.
Facendo un po di prove mi sono reso conto che avevo bloccato sul file robots.txt la cartella dove puntavano le chiamate ajax e i file js, per questo il bot quando leggeva la pagina non riusciva a far un rendering corretto.
Adesso tramite robots.txt ho dato i permessi a google di leggere i file css, js e di accedere anche alla cartella ajax. Il risultato è che la pagina viene visualizzata correttamente.
La mia domanda è questa, visto che adesso ho dato accesso al bot ai seguenti file, tra qualche giorno mi mi ritroverò indicizzato i file js e css?
Per questo chiedevo se ci fosse un modo di dar accesso al bot a questi file ma dicendogli di non indicizzarli.
-
Ciao dpmika,
@dpmika said:
La mia domanda è questa, visto che adesso ho dato accesso al bot ai seguenti file, tra qualche giorno mi mi ritroverò indicizzato i file js e css?
No.
Non ho mai visto Google (né alcun altro motore di ricerca) mostrare in SERP file CSS o JS.
Il problema semplicemente non si pone. Google li salva in copia, ma non li indicizza (o, più precisamente, non li mostra in SERP).@dpmika said:
Per questo chiedevo se ci fosse un modo di dar accesso al bot a questi file ma dicendogli di non indicizzarli.
Nel caso puramente teorico di dover indicare la cosa al motore di ricerca: sì, tecnicamente è possibile usando l'header HTTP "x-robots-tag" per specificare il noindex.Ripeto, non è necessario, semplicemente non capita che tali file appaiano in SERP. Se dovesse accadere, mi preoccuperei piuttosto di capire il perché; probabilmente vorrebbe dire sarebbero link-ati come se fossero pagine html e avrebbero un content-type errato specificato nell'header HTTP.
Spero d'esserti stato utile.
-
@Federico Sasso said:
Ripeto, non è necessario, semplicemente non capita che tali file appaiano in SERP. Se dovesse accadere, mi preoccuperei piuttosto di capire il perché; probabilmente vorrebbe dire sarebbero link-ati come se fossero pagine html e avrebbero un content-type errato specificato nell'header HTTP.
Grazie per le info, mi hai già chiarito molti dei dubbi che avevo. Volevo chiederti un ultima cosa, per quanto riguarda invece gli url per le chiamate ajax?
Sulla scheda prodotto, tramite javascript faccio delle chiamare ajax a determinati url sulla directory /ajax e mi sono reso conto che google le ha indicizzate, esempio:/ **ajax / **data / disponibilita
/ ajax / data / infoCome posso mettere il tag header HTTP "x-robots-tag" su tutta la directory ajax?
Grazie
-
Il fatto che google indicizzi parzialmente anche a me delle pagine perchè non riesco a dargli l'accesso a delle cartelle quanto può influire negativamente sul posizionamento delle keyword legate alla pagine?
grazie!
-
Ciao dpmika,
scusa mi sono accorto della tua domanda solo oggi. Spero tu abbia già risolto.@dpmika said:
Volevo chiederti un ultima cosa, per quanto riguarda invece gli url per le chiamate ajax?
Sulla scheda prodotto, tramite javascript faccio delle chiamare ajax a determinati url sulla directory /ajax e mi sono reso conto che google le ha indicizzate, esempio:/ **ajax / **data / disponibilita
/ ajax / data / infoCome posso mettere il tag header HTTP "x-robots-tag" su tutta la directory ajax?
Strano abbia indicizzato quegli URL!
Se come immagino usi Apache, temo di non essere la persona più qualificata a rispondere, dovrei andarmi a googlare la risposta. Prova a chiedere in un altro subforum come fare.
-
Ciao Alex.T,
@Alex.T said:
Il fatto che google indicizzi parzialmente anche a me delle pagine perchè non riesco a dargli l'accesso a delle cartelle quanto può influire negativamente sul posizionamento delle keyword legate alla pagine?
Da Search Console testa con "Visualizza come Google", se nel risultato comprende i testi ti preoccupano allora non ci sono problemi.
-
@Federico Sasso said:
Ciao Alex.T,
Da Search Console testa con "Visualizza come Google", se nel risultato comprende i testi ti preoccupano allora non ci sono problemi.
No ci sono dei javascript o css che si visualizzano male ,poca roba , il BODY o comunque i contenuti testuali sono sempre visibili correttamente.
Non mi devo preoccupare quindi.
Posso chiederti una cosa non inerente al topic ma sempre inerente al tema indicizzazione?
-
Bene.
@Alex.T said:
Posso chiederti una cosa non inerente al topic ma sempre inerente al tema indicizzazione?
Meglio apri un nuovo thread allora.
Adesso sono un po' preso, ma prossimamente cercherò di guardare il forum e se nessuno avrà già risposto proverò a dare il mio contributo.
Ciao
