Proteggere il sito Web Reaper dai web crawler

[mypersonaltrainer]

Proteggere il sito Web Reaper dai web crawler

Ciao a tutti,
qualcuno di voi consoce un metodo per proteggere i contenuti di un sito scritto in linguaggio html dal download automatico di programmi "web crawler" tipo "Web reaper"??

[fello]

Ciao mypersonaltrainer, io all'epoca ho fatto qualche test, e alcuni grabber possono essere fermati tramite file robots.txt....
in particolare web reaper rispetta il robots.txt

So che in un post alcuni utenti hanno fatto una lista di user agent dei grabber...

[serrabuttega]

esattamente in questo post...http://www.giorgiotave.it/forum/posizionamento-nei-motori-di-ricerca/9599-robots-txt-per-impedire-laccesso-programmi-vari.html#post132128

[claudioweb]

@serrabuttega said:

esattamente in questo post...http://www.giorgiotave.it/forum/posizionamento-nei-motori-di-ricerca/9599-robots-txt-per-impedire-laccesso-programmi-vari.html#post132128

serrabuttega grazie della segnalazione, ne approfitto per darti il mio benvenuto nel forum

[serrabuttega]

Di nulla e grazie per il benvenuto!