@Rammo said:

Ah.. a questo proprio non avevo pensato.
Beh, direi che tutto può essere -.-

controlla bene l'user agent che hai rilevato dalle statistiche, è vero che gli spam bot si possono camuffare come un googlebot ma si dovrebbe riuscire a riconoscerli

Come devo fare per riconoscerli?

Per riconoscere Google Bot puoi controllare gli indirizzi IP (risolvibili come domini di terzo livello di googlebot.com o google.com), i contatti generati dallo spider si identificano con una di queste USER AGENT:

• Googlebot/2.1 (+http://www.googlebot.com/bot.html)
• Googlebot/2.1 (+http://www.google.com/bot.html)
• Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) (per compatibilità)
• Googlebot-Image/1.0 (il crawler della ricerca immagini) Oltre a provenire da alcuni specifici IP riconoscibili (risolvibili come domini di terzo livello di googlebot.com o google.com), i contatti generati dallo spider si identificano[1] con una di queste stringhe User agent:
• Googlebot/2.1 (+http://www.googlebot.com/bot.html)
• Googlebot/2.1 (+http://www.google.com/bot.html)
• Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) (per compatibilità)
• Googlebot-Image/1.0 (il crawler della ricerca immagini)
  A questo link trovi la lista delle user-agent di google bot:
  http://www.useragentstring.com/pages/useragentstring.php

@Rammo said:

.... ripetere il passaggio sulla stessa pagina contatti.html. Avete riscontrato qualcosa di simile anche voi? Sapete dirmi per caso il perchè?....

Potrebbe essere che la tua pagina contatti sia linkata meglio o riceva alcuni Backlinks in più delle altre e per questo venga visitata di più, in ogni caso google vuole bene ai siti che offrono la maggiore interattività con l'utente, la pagina contatti serve appunto per questo.

Saluti

@domenico biancardi said:

Per riconoscere Google Bot puoi controllare gli indirizzi IP (risolvibili come domini di terzo livello di googlebot.com o google.com), i contatti generati dallo spider si identificano con una di queste USER AGENT:
[...]
A questo link trovi la lista delle user-agent di google bot:
http://www.useragentstring.com/pages/useragentstring.php
basta anche l'estensione "user agent switcher" di firefox per mostrare questi user agent

@Rammo said:

Mi sembra strano perchè a volte preferisce non passare sulle pagine nuove, da indicizzare, ma ripetere il passaggio sulla stessa pagina contatti.html.

Sempre ammesso che si tratti realmente di Googlebot... quanto e come è linkata la tua pagina "contatti" in confronto alle pagine nuove, che vuoi far indicizzare?

In che percentuale Google ha indicizzato le pagine dei tuoi due siti?

Controlla l'IP di GoogleBot

Ho controllato e risulta essere effettivamente Googlebot.

La pagina dei contatti è linkata dal footer di ogni pagina.
Le altre che voglio far indicizzare sono pagine linkate da una pagina linkata a sua volte dal menu di ogni pagina.
Le pagine indicizzate me le sta prendendo tutte, piano piano, però vedo ancora che allo spider piace ripassare più volte sulla contatti.html

Ma cosa avrà di tanto speciale la pagina dei contatti?

@madai said:

Controlla l'IP di GoogleBot
anche l'ip potrebbe essere falso
purtroppo non credo ci sia modo di avere dati sicuri

@phpone said:

anche l'ip potrebbe essere falso
purtroppo non credo ci sia modo di avere dati sicuri

Ho sviluppato quel tool in base a questo articolo.

Il tool sopraindicato fa un reverse DNS e un forward DNS quindi anche uno spoofing dell'IP verrebbe poi scoperto se il forward non coincidesse poi con l'IP iniziale.

Secondo i tecnici di google è un modo sicuro di verificare l'autenticità di googlebot.