Oppure è voluto e stanno cercando di efficientare il crawling, selezionando le pagine da scansionare e poi indicizzare.
G sta applicando l'AI ovunque e non sempre con risultati eccellenti. Non mi stupirei se dietro ci fosse un nuovo algoritmo.

Andrebbe visto (su vasta scala) se le pagine non lette, siano effettivamente trascurabili. Se fosse così questa mancanza non impatterebbe sul risultato finale.

@luca ha detto in Crawl rate in crollo globalmente. Googlebot rallenta? Oppure c'è altro?:

G sta applicando l'AI ovunque e non sempre con risultati eccellenti. Non mi stupirei se dietro ci fosse un nuovo algoritmo.

Sai che è un'ottima osservazione? Il drop repentino del crawler solo su alcuni siti e non su altri fa effettivamente pensare ad un classificatore basato su reti neurali all'opera.

Esattamente quello che succede con Core Update quando vengono rilasciati.

Però ho comunque osservato una ripresa delle attività di scansione... quindi vuol direi che è stata comunque una cosa temporanea: hanno dovuto risparmiare risorse per un tempo limitato.

Ci sta che per decidere come risparmiarle si siano affidati ad un algoritmo di rete neurale... proprio perché come dici lo stanno mettendo un po' ovunque.

Ma. Sono scettico su questa cosa. Non ne vedo il senso.

Sarebbe molto più sensato supportare l'idea di IndexNow.

@juanin ha detto in Crawl rate in crollo globalmente. Googlebot rallenta? Oppure c'è altro?:

Ma. Sono scettico su questa cosa. Non ne vedo il senso.

Secondo me è un'insieme di ragioni.

Crawlare costa energia. Rilasciare i Core Update costa energia. L'energia in queste settimane costa un botto assurdo.

Avranno dovuto prioritizzare.

@juanin ha detto in Crawl rate in crollo globalmente. Googlebot rallenta? Oppure c'è altro?:

Sarebbe molto più sensato supportare l'idea di IndexNow.

Su questo non ci piove.

Per la cronaca, sembra tutto rientrato dal 17:

https://www.seroundtable.com/googlebot-slow-web-crawl-32470.html

@juanin ha detto in Crawl rate in crollo globalmente. Googlebot rallenta? Oppure c'è altro?:

Sarebbe molto più sensato supportare l'idea di IndexNow.

Certo, ma solo se tutti la usassero. Se fosse l'unico modo per indicizzare.

Il fatto che possa attivare l'indexNow, non significa spegnere il crawling consueto...

@luca beh chiaro.

Comunque era un bug e l'hanno dichiarato...

@luca sarà...ma io noto ancora qualcosa di strano. Per me non hanno ancora risolto del tutto.

Secondo me non ci stanno dietro a tutte le ultime novità. Infatti avevano problemi con gli Early Hints e ora probabilmente qualche side effect con Signed Exchange.

Stesso problema con sitarello nuovo. Di solito quelli con wordpress hanno una spinta pazzesca. Stavolta, di 14 pagine (nonostante l'invio della sitemap) 7 non sono state indicizzate dopo due settimane dalla pubblicazione delle stesse. (grave, perché uno di questi articoli era super competitivo, la serp era "semi vuota"). poetessedonne.it

CulturaMente, che è medio grande, si indicizza sempre e subito senza problemi.