@juanin non è una cosa solo dei siti grandi! Me ne sono accorto anche io col mio sitarello personale.

Pensavo Google si fosse offeso e invece a quanto pare è uno svarione globale.

Su Twitter ho suggerito l'ipotesi che possa essere collegato all'aumento del prezzo dell'energia. Poi chissà!

E se fosse legato al fatto che stanno testando "indexnow" ?

https://searchengineland.com/google-is-testing-the-indexnow-protocol-for-sustainability-375932

@mirkomassarutto mi sembra strano che facciano un test nei sistemi di produzione e in scala globale

@matteo-boscolo beh magari cercano di capire quale sia il "risparmio"... boh...

@matteo-boscolo ha detto in Crawl rate in crollo globalmente. Googlebot rallenta? Oppure c'è altro?:

@mirkomassarutto mi sembra strano che facciano un test nei sistemi di produzione e in scala globale

Dubito fortemente anche io

Ci avevo pensato anche io, anche perché in alcuni casi capita con Cloudflare davanti, ma il comportamento rilevato non ha molto senso e non è compatibile con come dovrebbe comportarsi IndexNow oltre al fatto che succede anche senza Cloudflare o comunque provider che non lo supportano.

#ContentDeliveryNetwork #CDN #Cloudflare

Aggiornamento: tra ieri sera e stamattina, le pagine finora non indicizzate sono andate in indice.
Inoltre mi sono arrivate tutte le notifiche da Search Console di approvazione delle correzioni sui dati strutturati non analizzabili.
Il tutto su diversi siti web.

di solito quando ci sono queste anomalie non siamo a ridosso di aggiornamento dell'algoritmo?
come i microterremoti prima di un eruzione

@fabioantichi effettivamente hanno appena annunciato un nuovo Core Update.

Mi sembra un'ipotesi plausibile.

Oppure è voluto e stanno cercando di efficientare il crawling, selezionando le pagine da scansionare e poi indicizzare.
G sta applicando l'AI ovunque e non sempre con risultati eccellenti. Non mi stupirei se dietro ci fosse un nuovo algoritmo.

Andrebbe visto (su vasta scala) se le pagine non lette, siano effettivamente trascurabili. Se fosse così questa mancanza non impatterebbe sul risultato finale.

@luca ha detto in Crawl rate in crollo globalmente. Googlebot rallenta? Oppure c'è altro?:

G sta applicando l'AI ovunque e non sempre con risultati eccellenti. Non mi stupirei se dietro ci fosse un nuovo algoritmo.

Sai che è un'ottima osservazione? Il drop repentino del crawler solo su alcuni siti e non su altri fa effettivamente pensare ad un classificatore basato su reti neurali all'opera.

Esattamente quello che succede con Core Update quando vengono rilasciati.

Però ho comunque osservato una ripresa delle attività di scansione... quindi vuol direi che è stata comunque una cosa temporanea: hanno dovuto risparmiare risorse per un tempo limitato.

Ci sta che per decidere come risparmiarle si siano affidati ad un algoritmo di rete neurale... proprio perché come dici lo stanno mettendo un po' ovunque.

Ma. Sono scettico su questa cosa. Non ne vedo il senso.

Sarebbe molto più sensato supportare l'idea di IndexNow.

@juanin ha detto in Crawl rate in crollo globalmente. Googlebot rallenta? Oppure c'è altro?:

Ma. Sono scettico su questa cosa. Non ne vedo il senso.

Secondo me è un'insieme di ragioni.

Crawlare costa energia. Rilasciare i Core Update costa energia. L'energia in queste settimane costa un botto assurdo.

Avranno dovuto prioritizzare.

@juanin ha detto in Crawl rate in crollo globalmente. Googlebot rallenta? Oppure c'è altro?:

Sarebbe molto più sensato supportare l'idea di IndexNow.

Su questo non ci piove.

Per la cronaca, sembra tutto rientrato dal 17:

https://www.seroundtable.com/googlebot-slow-web-crawl-32470.html

@juanin ha detto in Crawl rate in crollo globalmente. Googlebot rallenta? Oppure c'è altro?:

Sarebbe molto più sensato supportare l'idea di IndexNow.

Certo, ma solo se tutti la usassero. Se fosse l'unico modo per indicizzare.

Il fatto che possa attivare l'indexNow, non significa spegnere il crawling consueto...

@luca beh chiaro.

Comunque era un bug e l'hanno dichiarato...

@luca sarà...ma io noto ancora qualcosa di strano. Per me non hanno ancora risolto del tutto.

Secondo me non ci stanno dietro a tutte le ultime novità. Infatti avevano problemi con gli Early Hints e ora probabilmente qualche side effect con Signed Exchange.

Stesso problema con sitarello nuovo. Di solito quelli con wordpress hanno una spinta pazzesca. Stavolta, di 14 pagine (nonostante l'invio della sitemap) 7 non sono state indicizzate dopo due settimane dalla pubblicazione delle stesse. (grave, perché uno di questi articoli era super competitivo, la serp era "semi vuota"). poetessedonne.it

CulturaMente, che è medio grande, si indicizza sempre e subito senza problemi.