Perché (Google bot) non scansiona più le pagine?

kyle46

Perché (Google bot) non scansiona più le pagine?

Salve, premetto che è solo un anno che ho il sito web. Da un anno a questa parte, oltre a scrivere contenuti: l'80% del mio tempo lo svolgo alla ricerca di risposte e risoluzioni dei problemi circa i motori di ricerca.

Quando ho creato il mio sito, qualche anno fa, ho notato che un indirizzo (IP) univoco, ogni cinque minuti, scansionava tutte le mie pagine. Io, allora, non sapevo chi fosse, e così ho installato un plugin per bloccarlo. Ci volle qualche tempo più tardi per capire che si trattasse di Google Bot.

Qualche mese più tardi, la scansione da parte del Crawler di Google ha smesso di passare dal mio sito. Adesso ho una domanda.. Che sta succedendo?

Mi ricordo di aver fatto una prova, dopo aver pubblicato un nuovo articolo. "Di solito quando creo un nuovo articolo lo pubblico da Google Search Console". Per cui, ho pensato... Adesso glielo lascio pubblicare a Google, visto che dalla Search console mi dice che la pagina è stata indicizzata ma non dalla Sitemap.

Niente... La pagina è rimasta tale e quale. (Non indicizzata).

E allora la domanda viene spontanea... Come mai c'è di afferma che quando si aggiorna una piccola cosa sulle pagine del sito, Google sa che è stata modificata scansionandola nuovamente? Strano direi!

Infine... Il titolo che avevo dato al mio sito inizialmente era: Reverse Crucifix KM (Official)! Qualche tempo più tardi ho eliminato "Official", riportandolo a (Reverse Crucifix KM)

Alcune pagine vecchie, indicizzate sul web, risultano avere ancora il titolo di un anno fa (Reverse Crucifix KM Official), e questo mi fa pensare che non è vero che Google rileva automaticamente quando un contenuto è stato aggiornato! In poche parole devo farlo io manualmente?

A voi l'ultima parola...

kal

Cosa dice il vecchio rapporto "Statistiche di scansione" di Google Search Console?

Lo trovi in Strumenti e rapporti precedenti > Statistiche scansione

Quante pagine al giorno in media scansiona Googlebot?

kyle46

Da Pagine sottoposte a scansione giornalmente, indica che la scansione è stata effettuata negli ultimi 90 giorni. Mi ricordo, però, che agli inizi riuscivo ad individuare dalle statistche quando Google scansionava le pagine. Ok, quindi abbiamo capito che è tutto apposto.

Un'ultima cosa... Se io non pubblico un nuovo articolo ma lascio che sia il crawler di google a rilevarlo e indicizzarlo in automatico... Riesce a farlo e in quanto tempo? Oppure devo indicizzarlo io manualmente, come sempre?

Infine, quello che non ho capito è perché vi sono online pagine con il titolo del sito vecchio, visto che Google scansiona le pagine.

Grazie ancora.

kal

Google è lento o veloce ad aggiornare sulla base della priorità che ha dato alle pagine del tuo sito.

E la priorità data alle pagine del tuo sito è proporzionale ad un mix tra la popolarità delle stesse e quanto frequentemente vengono aggiornate.

Una pagina molto popolare che viene aggiornata frequentemente (ad es. l'homepage di un quotidiano) riceve le visite di Googlebot anche dopo pochi minuti. Una pagina secondaria seppellita in fondo alla struttura di un sito poco popolare potrebbe essere aggiornata anche una volta all'anno.

E' abbastanza normale che per siti non super popolari l'ampiezza degli aggiornamenti sia molto lunga.

Quello che al posto tuo mi domanderei: la pagina che Google non ha ancora aggiornato quanto è importante per te? E se lo è, perché non l'hai messa più in rilievo sul tuo sito web?

Se invece la pagina non è importante, allora anche una scansione tempestiva di Google non lo è.

kyle46

Dunque, quando si crea un sito web (Google) ne rileva la priorità assoluta di ogni singola pagina, almeno da ciò che ho capito in base a ciò che hai detto! Un sito di cronaca, per esempio, che vengono pubblicati 4/6 post al giorno, la scansione da parte di google risulterà più frequentemente! Dimmi se ho capito bene!

kal

@kyle46 sì, come detto Googlebot si da una priorità di scansione.

Vedi ad esempio questo esaustivo articolo: https://moz.com/blog/testing-how-crawl-priority-works

E questa priorità dipende da molti fattori tra cui i principali sono:

il pagerank di quella pagina (più è alto, più la scansione sarà frequente)
la frequenza degli aggiornamenti di quella pagina (più viene aggiornata, più la scansione sarà frequente)

Non esiste una formula sicura per calcolarla comunque, ogni sito fa storia a se.