mmmhhh... dopo una rapida occhiata su un log web.... ho ritrovato un IRLBot/2.0 con la seguente stringa nell'agent:

IRLbot/2.0 (compatible; MSIE 6.0; http://irl.cs.tamu.edu/crawler)

e queste altre sospette...

Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MSIECrawler)

Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 4.0; Girafabot; girafabot at girafa dot com; http://www.girafa.com)

:bho:

Salve, sono nuovo di questo Forum... ma son capitato su questo POST effettuando un ricerca su Google proprio in relazione al "riconoscimento" di spider/BOT...

Vorrei solo correggere l'affermazione precedente nel quale si sostiene che i crawler o spider che siano non registrino $_SERVER['HTTP_REFERER']...

Un esempio lo è SurveyBot che invece va ad inserire un REFERER nonostante non si tratti di un browser o utente "reale" che sia...

sul discorso della stringa MSIE non saprei invece... indagherò...