Problema con indicizzazione pagine

[kyle46]

Problema con indicizzazione pagine

@michela-1 La pagina risulta essere eseguita dal crawler il giorno (6 marzo 2022).

Oggi, è ancor presente questo blocco nel file robots.txt? Se no, prova ad eseguire una nuova scansione della pagina. Per nuova scansione non intendo, una e basta. Prova fino a quando il crawler non passa sul tuo sito affinché possa rilevarla e re-indicizzarla nuovamente, fino a quando la data dell'ultima scansione eseguita non risulti effettivamente "17/05/2022".

Un saluto.

[kal]

Controllato negli header HTTP se c'è un'istruzione X-Robots-Tag?

Lo puoi vedere facendo F12 (pannello sviluppatori), scheda "Rete", selezioni la pagina e guardi le "Intestazioni riposte".

[giulio.marchesi]

@michela-1 effettivamente credo sia un bug della Search Console, non ci vedo altra ragione: il file robots.txt non presenta problemi e anche il meta tag robots della homepage così come pagine specifiche, è uguale (ho fatto la prova con due URL, uno indicizzato l'altro no, le istruzioni di codice non cambiano). Detto ciò, dubito che il problema riguardi quindi istruzioni (anche se è segnato così, più volte GSC non si dimostra perfetto negli avvisi).

Il problema che vedo però è un altro! Prestazioni hem, "disastrose" possiamo dire, specie LCP, sia mobile che desktop, troppo lento nel caricamento (GTmetrix mostra 523 richieste per la Homepage!!! Anche con Page Speed Insights vedi bene che il problema è nelle performance).
Più un sito, una pagina è lenta a caricare, richiede risorse, e più il crawler spreca risorse per passare a visitare le pagine, quindi anche per l'indicizzazione! Quindi è normale che l'indicizzazione diventi molto ma molto lenta. Il crawl budget diventa rilevante (oltre che notevoli aspetti di User Experience).
Quanto detto è fondamentale, assolutamente da intervenire in questo ambito. Poi per curiosità, sempre con GSC vai nella sezione impostazioni, statistiche di scansione: vedi un grafico con il numero di scansioni giornaliere e tempo medio di risposta. Dovrebbe esserci ancora un bug "missing data" dell'11 maggio 2022, solo un bug (fino a qualche giorno fa mancavano i dati del 3 maggio, capisci che GSC ultimamente ha qualche problema, quindi non prendere alla lettera tutto quello che ti dice anche negli avvisi ).
Un'altra cosa: se hai registrato il tuo dominio anche con Bing Webmaster Tools, prova a vedere l'indicizzazione su Bing! Non hai usato istruzioni specifiche su Googlebot ma generiche per tutti i crawler, quindi lo strumento "controllo URL" di Bing Webmaster Tools, dovrebbe escludere quindi il problema di istruzioni del robots. Oltre al fatto che la velocità di indicizzazione di Bing rispetto a Google, è molto migliore (ultimamamente la Search Console e Google in generale ha davvero problemi in questo ambito).

[kal]

@giulio-marchesi ha detto in Problema con indicizzazione pagine:

dubito che il problema riguardi quindi istruzioni (anche se è segnato così, più volte GSC non si dimostra perfetto negli avvisi).

Uhm, se segna un noindex è perché tendenzialmente da qualche parte l'ha parsato. Senza l'URL specifica non posso verificare, ma va controllato anche negli X-Robots-Tag.

Sai mai che per colpa di qualche plugin non gliel'abbia impostato.

[panebianco3d]

ciao, scusa ma perchè c'è quel:

expires: Thu, 19 Nov 1981 08:52:00 GMT

comunicando al BOT che "il contenuto (pubblicato il 18 maggio 2022) ha smesso di avere validità il 19 novembre 1981".
Non rieci a correggerlo in qualche modo?

[giulio.marchesi]

@michela-1 beh che dire, difficile risolvere tutto così con una risposta, diciamo che i plugin andrebbero valutati con attenzione, tenendo l'essenziale. Creare la pagina tramite un Page Builder, anche quello non aiuta; nelle impostazioni del tema in genere ci sono opzioni per migliorare le performance, bisogna darci un'occhiata e "smanettarci" su un po'.

La cosa importantissima: ottimizzazione delle immagini!!! L'immagine chiamata Enoteca-Lombardi.png (la ragazza di schiena, col cappello e bicchiere in mano) pesa 9,5 MB non so se mi spiego nei consigli generali, si cerca di stare sotto i 200-300 KB per immagine, qui siamo a 9,5 MB quindi assolutamente esagerato!! Intervieni così:

• la stessa immagine, convertila in jpg, se esteticamente ti sembra uguale (non cambia tonalità di colore ecc) tieni il formato che occupa meno
• dopodiché, vai su un sito online come imagecompressor o tinypng / tinyjpg, carichi l'immagine e vedi quanto risparmi con la compressione
• la risoluzione, nel tuo caso 3840x2160, già se la riduci ad un 1080 ad esempio, basta e avanza! Poi procedi con la compressione come ho detto
• livello di compressione: dove puoi sceglierlo (ad esempio con imagecompressor), imposta es. 85%, poi magari 80 o 90, valuta il compromesso fra qualità e peso; lo valuti visivamente, dove l'immagine vista con quelle dimensioni è di buona qualità, fino a quel livello ti conviene comprimere
• fai la stessa cosa per tutte le immagini che occupano in modo "esagerato", ripeto l'idea generale è 200-300 KB al massimo

Ti posso dire che, per questa tua immagine, appena convertita in jpg mi occupa 1,3 MB (da 9,5 MB che era in png!!), se la carichi online es. su imagecompressor risparmi ancora e direi anche che non ha senso una risoluzione di 3840x2160, prima di caricarla su imagecompressor riduci pure anche questa.

NB: ottimizzazioni varie i possono fare con calma, studiandoci bene, ma nel tuo caso la compressione delle immagini direi che incide per il 90+% del risultato!

[giulio.marchesi]

@michela-1 assolutamente sì ed è una cosa importante! La pagina molto lenta a caricare è fortemente penalizzante per l'esperienza utente, come puoi immaginare, ma anche per il crawler che collegandosi deve sprecare molte risorse: quindi ha perfettamente senso anche la questione indicizzazione. Incide poi anche nel posizionamento, ovvero un sito web lento a caricare, a parità di condizioni ottiene un punteggio più basso rispetto ai competitor con caricamento più veloce (in genere direi tutti i valori dei Core Web Vitals, compresi i tre "nuovi" parametri, approfondimento).
Poi ripeto, se le dimensioni in gioco sono queste, 9.5 MB per una singola immagine (e non è l'unica!), almeno questo dev'essere subito sistemato, veloce da fare e ben più importante (sia per gli utenti che si collegano, sia per Google) di varie "ottimizzazioni" più sottili.

[kal]

Domanda: il sito è recente? Nell'ordine di 3-6-9 mesi? È stato inibito l'accesso ai motori anche solo temporaneamente in una data recente del passato?

[sermatica]

@michela-1 ha detto in Problema con indicizzazione pagine:

gsc dice che il problema si trova nel meta tag robots ma li c'e' scritto e c'e' sempre stato scritto index

Ciao Michela,
analizza con Screaming Frog un url problematica e vedi se SF la da come index, se si è probabilmente un falso positivo.