di chi è questo spider???

[gioprava]

di chi è questo spider???

ciao a tutti... volevo sapere se conoscete delle liste di spider tramite le quali risalire ai motori di ricerca o rispettivi propietari: infatti sto utilizzando la versione demo di un programma, cioè Robot Agent, che permette di individuare dai logs tutte le pagine visitate dagli spider oltre ai nomi degli spider stessi

io ho il problema che di solito gli spider si fermano alla home, come avevo accennato qui
http://www.giorgiotave.it/forum/posizionamento-nei-motori-di-ricerca/14083-redirect-dellhome-page.html

mentre ho scoperto che due spider, cioè

ichiro2.0 (che dovrebbe essere giapponese)
e
192.comAgent
riescono ad entrare nonostante il redirect in javascript che è attualmente presente in home page.... ( e che io vorrei far togliere ma al momento bisogna asetttare che tizio torni dalle ferie etc....)

Grazie ciao, Giovanni

[sawadee]

Eccoli [url=http://www.iplists.com/nw/]Search Engine IP Addresses

[nbriani]

e qui altre fonti : lista spider - Google Search

..poi facci testare il programmino mi raccomando...

Nicola

[gioprava]

grazie...
il programmino che sto provando si chiama appunto Robot Manager, e dandogli la cartellina con i log permette di individuare tutti gli spider etc, comprese pagine visitate e cose così, oltre a scrivere il file robots txt in modo quasi automatico ( questa funzione non l'ho mai usata però...)
io ho una demo, che permette di analizzare massimo 100 pagine viste per volta, non di più, comunque il sito del programma è ( spero si possa segnalare, visto che io cmq non ci guadagno nulla, e neanche loro,visto che sono scaricabili demo....)

[url=http://www.websitemanagementtools.com]Website Promotion Tools - Website Promotion Software

e al momento mi pare interessante....