• User Newbie

    Problema con indicizzazione pagine

    Salve, so che voi potete aiutarmi!
    GSC mi dice che molte pagine di un sito non sono indicizzate perchè il meta tag robots lo impedisce

    metatag.JPG
    ma controllando il codice delle pagine nel meta tag c'e' scritto questo:
    <meta name='robots' content='index, follow, max-image-preview:large, max-snippet:-1, max-video-preview:-1' />

    il file robots.txt non èra presente ho provato a farne uno permettendo l'indicizzazione di tutto il sito ma il problema resta. Cosa posso provare a fare?


    kyle46 giulio.marchesi 2 Risposte
  • User Attivo

    @michela-1 La pagina risulta essere eseguita dal crawler il giorno (6 marzo 2022).

    Oggi, è ancor presente questo blocco nel file robots.txt? Se no, prova ad eseguire una nuova scansione della pagina. Per nuova scansione non intendo, una e basta. Prova fino a quando il crawler non passa sul tuo sito affinché possa rilevarla e re-indicizzarla nuovamente, fino a quando la data dell'ultima scansione eseguita non risulti effettivamente "17/05/2022".

    Un saluto.


  • User Newbie

    no. il blocco non c'e' mai stato. e' questo il problema
    gsc dice che il problema si trova nel meta tag robots ma li c'e' scritto e c'e' sempre stato scritto index
    <meta name='robots' content='index, follow, max-image-preview:large, max-snippet:-1, max-video-preview:-1' />
    a meno che non sia scritto male, ma ho controllato e anche nelle pagine indicizzate è scritto uguale.


    sermatica 1 Risposta
  • Contributor

    Controllato negli header HTTP se c'è un'istruzione X-Robots-Tag?

    Lo puoi vedere facendo F12 (pannello sviluppatori), scheda "Rete", selezioni la pagina e guardi le "Intestazioni riposte".


    M 1 Risposta
  • User Attivo

    @michela-1 effettivamente credo sia un bug della Search Console, non ci vedo altra ragione: il file robots.txt non presenta problemi e anche il meta tag robots della homepage così come pagine specifiche, è uguale (ho fatto la prova con due URL, uno indicizzato l'altro no, le istruzioni di codice non cambiano). Detto ciò, dubito che il problema riguardi quindi istruzioni (anche se è segnato così, più volte GSC non si dimostra perfetto negli avvisi).

    Il problema che vedo però è un altro! Prestazioni hem, "disastrose" possiamo dire, specie LCP, sia mobile che desktop, troppo lento nel caricamento (GTmetrix mostra 523 richieste per la Homepage!!! Anche con Page Speed Insights vedi bene che il problema è nelle performance).
    Più un sito, una pagina è lenta a caricare, richiede risorse, e più il crawler spreca risorse per passare a visitare le pagine, quindi anche per l'indicizzazione! Quindi è normale che l'indicizzazione diventi molto ma molto lenta. Il crawl budget diventa rilevante (oltre che notevoli aspetti di User Experience).
    Quanto detto è fondamentale, assolutamente da intervenire in questo ambito. Poi per curiosità, sempre con GSC vai nella sezione impostazioni, statistiche di scansione: vedi un grafico con il numero di scansioni giornaliere e tempo medio di risposta. Dovrebbe esserci ancora un bug "missing data" dell'11 maggio 2022, solo un bug (fino a qualche giorno fa mancavano i dati del 3 maggio, capisci che GSC ultimamente ha qualche problema, quindi non prendere alla lettera tutto quello che ti dice anche negli avvisi 😄 ).
    Un'altra cosa: se hai registrato il tuo dominio anche con Bing Webmaster Tools, prova a vedere l'indicizzazione su Bing! Non hai usato istruzioni specifiche su Googlebot ma generiche per tutti i crawler, quindi lo strumento "controllo URL" di Bing Webmaster Tools, dovrebbe escludere quindi il problema di istruzioni del robots. Oltre al fatto che la velocità di indicizzazione di Bing rispetto a Google, è molto migliore (ultimamamente la Search Console e Google in generale ha davvero problemi in questo ambito).


    kal M 3 Risposte
  • Contributor

    @giulio-marchesi ha detto in Problema con indicizzazione pagine:

    dubito che il problema riguardi quindi istruzioni (anche se è segnato così, più volte GSC non si dimostra perfetto negli avvisi).

    Uhm, se segna un noindex è perché tendenzialmente da qualche parte l'ha parsato. Senza l'URL specifica non posso verificare, ma va controllato anche negli X-Robots-Tag.

    Sai mai che per colpa di qualche plugin non gliel'abbia impostato.


  • User Newbie

    @giulio-marchesi ha detto in Problema con indicizzazione pagine:

    restazioni hem, "disastrose" possiamo dire, specie LCP, sia mobile che desktop, troppo lento nel caricamento (GTmetrix mostra 523 richieste per la Homepage!!! Anche co

    siiii la lentezza del sito è un grosso problema che ho segnalato ma non pensavo che potesse dare problemi anche all'indicizzazione.

    grazie della risposta


  • User Newbie

    @kal ha detto in Problema con indicizzazione pagine:

    header
    ho preso una pagina che risulta a gsc no index
    le intestazioni risposte mi da queste
    cache-control: no-store, no-cache, must-revalidate
    content-encoding: br
    content-type: text/html; charset=UTF-8
    date: Wed, 18 May 2022 09:50:15 GMT
    expires: Thu, 19 Nov 1981 08:52:00 GMT
    host-header: 6b7412fb82ca5edfd0917e3957f05d89
    link: https://enotecalombardi.com/wp-json/; rel="https://api.w.org/"
    pragma: no-cache
    server: nginx
    vary: Accept-Encoding
    x-cache-enabled: True
    x-httpd-modphp: 1
    x-proxy-cache: BYPASS
    x-proxy-cache-info: 0 NC:200000 UP:SKIP_CACHE_NO_CACHE

    non vedo x-robots ma comunque non so interpretare 🙂


  • User Newbie

    @giulio-marchesi io non sono molto ferrata su questi aspetti.
    da quello che vedo ci sono tantissimi plugin installati ma anche il template scelto mi sembra molto pesante,
    cosa si puo' fare a grandi linee per migliorare la situazione lentezza ?


    giulio.marchesi 1 Risposta
  • User Attivo

    ciao, scusa ma perchè c'è quel:

    expires: Thu, 19 Nov 1981 08:52:00 GMT

    comunicando al BOT che "il contenuto (pubblicato il 18 maggio 2022) ha smesso di avere validità il 19 novembre 1981".
    Non rieci a correggerlo in qualche modo?


    M 1 Risposta
  • User Attivo

    @michela-1 beh che dire, difficile risolvere tutto così con una risposta, diciamo che i plugin andrebbero valutati con attenzione, tenendo l'essenziale. Creare la pagina tramite un Page Builder, anche quello non aiuta; nelle impostazioni del tema in genere ci sono opzioni per migliorare le performance, bisogna darci un'occhiata e "smanettarci" su un po'.

    La cosa importantissima: ottimizzazione delle immagini!!! L'immagine chiamata Enoteca-Lombardi.png (la ragazza di schiena, col cappello e bicchiere in mano) pesa 9,5 MB non so se mi spiego 😄 nei consigli generali, si cerca di stare sotto i 200-300 KB per immagine, qui siamo a 9,5 MB quindi assolutamente esagerato!! Intervieni così:

    • la stessa immagine, convertila in jpg, se esteticamente ti sembra uguale (non cambia tonalità di colore ecc) tieni il formato che occupa meno
    • dopodiché, vai su un sito online come imagecompressor o tinypng / tinyjpg, carichi l'immagine e vedi quanto risparmi con la compressione
    • la risoluzione, nel tuo caso 3840x2160, già se la riduci ad un 1080 ad esempio, basta e avanza! Poi procedi con la compressione come ho detto
    • livello di compressione: dove puoi sceglierlo (ad esempio con imagecompressor), imposta es. 85%, poi magari 80 o 90, valuta il compromesso fra qualità e peso; lo valuti visivamente, dove l'immagine vista con quelle dimensioni è di buona qualità, fino a quel livello ti conviene comprimere
    • fai la stessa cosa per tutte le immagini che occupano in modo "esagerato", ripeto l'idea generale è 200-300 KB al massimo

    Ti posso dire che, per questa tua immagine, appena convertita in jpg mi occupa 1,3 MB (da 9,5 MB che era in png!!), se la carichi online es. su imagecompressor risparmi ancora e direi anche che non ha senso una risoluzione di 3840x2160, prima di caricarla su imagecompressor riduci pure anche questa.

    NB: ottimizzazioni varie i possono fare con calma, studiandoci bene, ma nel tuo caso la compressione delle immagini direi che incide per il 90+% del risultato!


    M 1 Risposta
  • User Newbie

    @giulio-marchesi gli ho detto di alleggerire l'immagine mesi fa :), pero' non pensavo che questo potesse portare a non far indicizzare le pagine. Non mi era mai capitato.


    giulio.marchesi 1 Risposta
  • User Newbie

  • User Attivo

    @michela-1 assolutamente sì ed è una cosa importante! La pagina molto lenta a caricare è fortemente penalizzante per l'esperienza utente, come puoi immaginare, ma anche per il crawler che collegandosi deve sprecare molte risorse: quindi ha perfettamente senso anche la questione indicizzazione. Incide poi anche nel posizionamento, ovvero un sito web lento a caricare, a parità di condizioni ottiene un punteggio più basso rispetto ai competitor con caricamento più veloce (in genere direi tutti i valori dei Core Web Vitals, compresi i tre "nuovi" parametri, approfondimento).
    Poi ripeto, se le dimensioni in gioco sono queste, 9.5 MB per una singola immagine (e non è l'unica!), almeno questo dev'essere subito sistemato, veloce da fare e ben più importante (sia per gli utenti che si collegano, sia per Google) di varie "ottimizzazioni" più sottili.


  • Contributor

    Domanda: il sito è recente? Nell'ordine di 3-6-9 mesi? È stato inibito l'accesso ai motori anche solo temporaneamente in una data recente del passato?


  • Moderatore

    @michela-1 ha detto in Problema con indicizzazione pagine:

    gsc dice che il problema si trova nel meta tag robots ma li c'e' scritto e c'e' sempre stato scritto index

    Ciao Michela,
    analizza con Screaming Frog un url problematica e vedi se SF la da come index, se si è probabilmente un falso positivo.