- Home
- Categorie
- Digital Marketing
- Google Search Console e Altri Strumenti
- Tool per Verificare Tempi di Crawling delle Risorse
-
Tool per Verificare Tempi di Crawling delle Risorse
Ciao a tutti,
vorrei analizzare i tempi che googlebot e bing bot impiegano a indicizzare contenuti a partire dalla loro pubblicazione.Ho preso in considerazione 7 giorno.
Estratto dal database le url e le data di pubblicazione e scaricato i log del server nello stesso arco di tempo.Il mio problema è che il sito genera centinaia di pagine quotidianamente e migliaia di events sui log da parte dei bot.
Ho provato anche a filtrare i log per bot (google, bing) e ridurre ad un giorno ma il numero di url da confrontare resta ancora poco gestibile per strumenti come google sheet o excel
Voi usate strumenti particolari per fare analisi simili?
-
Ciao, per fare analisi del genere puoi usare Screaming Frog Log File Analyzer. Forse ti potrebbe bastare la versione gratuita.
-
Salve Daniele,
prima di tutto ti ringrazio del tuo contributo.
Provato ma purtroppo non è sufficiente perché Screaming Frog Log File Analyzer mi consente di analizzare i log ma non di confrontarli con i dati provenienti dal database.
Io invece avrei bisogno di matchare url del database (data di inserimento) con quelli del log (quando per la prima volta quell'url viene richiesta da Googlebot o Bingbot) così da poter verificare i tempi di crawling delle risorse di nuova pubblicazione
Grazie ancora e buona serata!
1 Risposta
-
Ciao
se sei pratico di python puoi scaricare le 2 tabelle e unirle con Pandas.
