- Home
- Categorie
- Digital Marketing
- Posizionamento Nei Motori di Ricerca
- Bloccare crawler
-
Bloccare crawler
Buonasera a tutti,
spero di essere nella sezione giusta.Ho un sito internet che gira su server Windows con IIS 7 che sta ricevendo troppi contatti da un crawler per niente gradito in quanto mi sta consumando un sacco di risorse e in più non credo sia dei più benevoli.
Il crawler è megaindex
Ho cercato di contrastarlo sia con il file robots.txt che con gli urlrewrite ma senza esito.
Qualcuno sa aiutarmi?
GrazieRiporto la regola che ho impostato (questa è sull'ip, ma avevo provato anche con il nome del crawler)
<rule name="RequestBlockingRule2" patternSyntax="Wildcard" stopProcessing="true"> <match url="*" /> <conditions logicalGrouping="MatchAll" trackAllCaptures="false"> <add input="{HTTP_USER_AGENT}" pattern="78.46.128.204" /> </conditions> <action type="CustomResponse" statusCode="403" statusReason="Forbidden: Access is denied." statusDescription="You do not have permission to view this directory or page using the credentials that you supplied." /> </rule>
Riporto il contenuto del robots.txt
User-agent: 78.46.128.204
User-agent: MegaIndex.ru/2.0
User-agent: MegaIndex.ru
User-agent: megaIndex.ru
User-agent: megaindex.com
User-agent: megaindex.com/crawler
Disallow: /