crowler TurnitinBot/2.0, lo conoscete?

[sole]

crowler TurnitinBot/2.0, lo conoscete?

Mi sta tormentando il file di log il crowler TurnitinBot/2.0 facente capo a questo sito www.turnitin.com

Quesllo che da fastidio è che cerca pagine non più presenti da tempo e quindi mi genera molti error 404. Non ho tempo di stargli dietro aggiungendo, solo per lui, al file .htaccess istruzioni di redirect 301.

Posso escluderlo col robots.txt "User-agent: turnitinbot" ma non conosco questo crowler e non vorrei chiudergli la porta d'ingresso senza prima sapere se è utile.

Conoscete TurnitinBot/2.0? ()

[giorgiotave]

Ciao Sole,

ho trovato questo

http://www.webmasterworld.com/forum11/2899.htm

[sole]

grazie l'ho appena escluso nel mio robots.txt

:ciapet: turnitinbot :ciapet: