Certo che potrebbe essere quello il motivo: un deep crawling.
Il punto è il modo in cui avviene... dici che ti sembra di notare un ingresso dello spider sulla pagina subito dopo la visita di un IP apparentemente normale.

Questo intriga abbastanza. Dai.... dacci un pezzetto di log, anche piccolo piccolo.

Ciao.

se questa cosa è confermata è una rivoluzione

la mia idea sarebbe che la Google Toolbar comunica la nuova pagina appena scoperta, tuttavia che il bot segua a ruota è decisamente complicato da fare, in quanto le informazioni della barra andrebbero gestite in tempo reale e se Google è arrivato a tanto, beh, buona notte a tutti gli altri....a questo punto è meglio se MS, Yahoo e compagnia comprano un fazzoletto di terra è ci piantano un bananeto

non uso google toolbar... il traffico l'ho notato sulle mie visite (ho fatto alcune decine di prove)

ora vedo di rimediarvi un pezzetto di log

AI

Ecco alcuni esempi

87.11.XXX.XXX - - [25/May/2007:17:46:21 +0200] "GET /forum/tema-del-mese-preparazione-alla-discussione/1216-aprile-proposta-tema-discussione-2.html HTTP/1.1" 200 18502
66.249.73.167 - - [25/May/2007:17:46:22 +0200] "GET /forum/tema-del-mese-preparazione-alla-discussione/1216-aprile-proposta-tema-discussione-2.html HTTP/1.1" 200 16373 "-" "Mediapartners-Google/2.1"

81.73.XXX.XXX - - [25/May/2007:17:47:05 +0200] "GET /forum/private.php HTTP/1.1" 200 8699
66.249.73.167 - - [25/May/2007:17:47:07 +0200] "GET /forum/private.php HTTP/1.1" 200 5660 "-" "Mediapartners-Google/2.1"

87.4.XXX.XXX - - [25/May/2007:17:48:18 +0200] "GET /forum/online.php HTTP/1.1" 200 7248
66.249.73.167 - - [25/May/2007:17:48:19 +0200] "GET /forum/online.php HTTP/1.1" 200 5659 "-" "Mediapartners-Google/2.1"

87.1.XXX.XXX - - [25/May/2007:18:01:17 +0200] "GET /forum/orientamento/499-consiglio-universita-archeologia.html HTTP/1.1" 200 15710
66.249.73.167 - - [25/May/2007:18:01:18 +0200] "GET /forum/orientamento/499-consiglio-universita-archeologia.html HTTP/1.1" 200 14016 "-" "Mediapartners-Google/2.1"

87.4.XXX.XXX - - [25/May/2007:18:05:45 +0200] "GET /forum/roma-sport/ HTTP/1.1" 200 9588
66.249.73.167 - - [25/May/2007:18:05:46 +0200] "GET /forum/roma-sport/ HTTP/1.1" 200 7559 "-" "Mediapartners-Google/2.1"

87.4.XXX.XXX - - [25/May/2007:18:06:20 +0200] "GET /forum/roma-quartiere-prenestino-centocelle/ HTTP/1.1"
66.249.73.167 - - [25/May/2007:18:06:22 +0200] "GET /forum/roma-quartiere-prenestino-centocelle/ HTTP/1.1" 200 7484 "-" "Mediapartners-Google/2.1"

87.4.XXX.XXX - - [25/May/2007:18:06:24 +0200] "GET /forum/roma-quartiere-appio-claudio/ HTTP/1.1" 200 9527
66.249.73.167 - - [25/May/2007:18:06:25 +0200] "GET /forum/roma-quartiere-appio-claudio/ HTTP/1.1" 200 7477 "-" "Mediapartners-Google/2.1"

87.4.XXX.XXX - - [25/May/2007:18:06:28 +0200] "GET /forum/roma-quartiere-don-bosco/ HTTP/1.1" 200 9520
66.249.73.167 - - [25/May/2007:18:06:29 +0200] "GET /forum/roma-quartiere-don-bosco/ HTTP/1.1" 200 7469 "-" "Mediapartners-Google/2.1"

87.4.XXX.XXX - - [25/May/2007:18:06:32 +0200] "GET /forum/roma-quartiere-ardeatino/ HTTP/1.1" 200 9517
66.249.73.167 - - [25/May/2007:18:06:34 +0200] "GET /forum/roma-quartiere-ardeatino/ HTTP/1.1" 200 7462 "-" "Mediapartners-Google/2.1"

87.4.XXX.XXX - - [25/May/2007:18:07:44 +0200] "GET /forum/online.php?order=asc&sort=username&pp=20&page=1 HTTP/1.1" 200 7136
66.249.73.167 - - [25/May/2007:18:07:45 +0200] "GET /forum/online.php?order=asc&sort=username&pp=20&page=1 HTTP/1.1" 301 - "-" "Mediapartners-Google/2.1"

87.19.XXX.XXX - - [25/May/2007:18:12:18 +0200] "GET /forum/utente/-polluce-.html HTTP/1.1" 200 7105
66.249.73.167 - - [25/May/2007:18:12:20 +0200] "GET /forum/utente/-polluce-.html HTTP/1.1" 200 6264 "-" "Mediapartners-Google/2.1"

Questa è l'analisi dell'IP del bot
66.249.73.167
US - CA - California - Mountain View - 94043 - 37.4192 - -122.0574
Google

Ho fatto alcune ricerche in rete e alcuni parlano di un falso bot non di google con quel "mediapartners", in realtà però l'IP risulta assegnato a Google... sinceramente non riesco a capire come possano fare a catturare in 1-2 secondi la pagina appena visitata.

Evidentemente c'è un rapporto tra AdSense installato sul sito e i crawlers di Google... oppure non saprei...

AI

ah... effettivamente si tratta di uno spider di AdSense... ecco spiegato il motivo.
Ma è normale che scarichi ogni volta una pagina?!?

AI

Si.

Lo spider di adsense segue costanetemente le pagine richieste al tuo web server per meglio adattare gli annuci al testo che rileva. Se i contenuti cambiano frequentemente allora tanto frequentemente riceverai visite da Mediapartners-Google/2.1

Successivamente, con mooolta calma, Mediapartners-Google/2.1 comunicherà a GoogleBot eventuali nuove pagine da indicizzare linkate da quelle che ha visitato.

Secondo voi, i bot indicizzano anche le pagine link postatae tipo

Ci siete?

Ehi?

Boh.

Ciao marcolin e benvenuto nel Forum GT!:)

Ti ricordo, che il forum non è un servizio di consulenza ed ha tempi tecnici di risposta.

Se necessiti di una consulenza più tempestiva puoi utilizzare le "Consulenze GT".