Curiosità peculiari sullo spider di google (e gli spider in generale) help!!!

[kajapezz8]

Curiosità peculiari sullo spider di google (e gli spider in generale) help!!!

Ragazzi spero di non essere OT,vi volevo chiedere se secondo voi:

-Lo spider di google e gli spider principali tengono conto della velocità di caricamento della pagina web?

-Lo spider conta come una visita sul sito che analizza?

grazie mille ragazzi e' una curiosità che mi sta comportando un bel po di grattacapi in testa

Spero di non aver fatto una figura da nabbo...

[gianrudi]

Ciao kajapezz, non mi è del tutto chiaro in che modo questo genere di quesiti possa provocarti dei grattacapi, spero comunque che le seguenti risposte possano esserti utili in qualche modo.

@kajapezz8 said:

-Lo spider di google e gli spider principali tengono conto della velocità di caricamento della pagina web?

Secondo me la velocità di caricamento non influisce sulla frequenza di scansione del bot finchè resta ragionevole (direi sotto gli 800 o 1000 ms a pagina, che sono comunque tanti, e preferibilmente intorno ai 400 - 500 ms).
Se il server è esageratamente lento a rispondere, è possibile che il motore di ricerca cominci a ridurre la frequenza di scansione, e si può capirlo, non è che può passare tutto il tempo a interrogare un server che se la prende comoda.
Al di sotto di una certa soglia, non credo che ci sia nessuna differenza tra un server velocissimo e uno ragionevolmente veloce.
Almeno in mia opinione, perchè prove certe sull'interessante questione non mi risultano esserci, se qualcuno conosce qualche elemento in più, sarebbe gradito un suo intervento.

@kajapezz8 said:

-Lo spider conta come una visita sul sito che analizza?

Sì, a tutti gli effetti, almeno a livello di sistema.
La visita dello spider viene registrata nel log di apache esattamente al pari delle altre visite, con il suo user-agent specifico.
I programmi di statistica tendono generalmente a non considerarle o a conteggiarle a parte (e ne ho trovati alcuni gravemente difettosi proprio nella gestione delle visite da spider).

EDIT:
Per completezza aggiungo un paio di precisazioni frutto di approfondimento con altri esperti del settore.

I programmi di statistiche come Google Analytics non contano le visite degli spider perché eseguiti via Javascript nelle pagine web. Nei log dei server Apache IIS e altri server web invece è registrato tutto, passaggio degli spider incluso.

Uno spider considera il tempo di restituzione da parte del server delle pagine web. Usa queste informazioni anche per allocare le risorse necessarie alla successiva spiderizzazione. Un esempio di questi dati te lo fornisce Google nel 3° grafico della frequenza di scansione che trovi dentro il Google Webmaster Tools.