Buonasera a tutti,
spero di essere nella sezione giusta.
Ho un sito internet che gira su server Windows con IIS 7 che sta ricevendo troppi contatti da un crawler per niente gradito in quanto mi sta consumando un sacco di risorse e in più non credo sia dei più benevoli.
Il crawler è megaindex
Ho cercato di contrastarlo sia con il file robots.txt che con gli urlrewrite ma senza esito.
Qualcuno sa aiutarmi?
Grazie
Riporto la regola che ho impostato (questa è sull'ip, ma avevo provato anche con il nome del crawler)
<rule name="RequestBlockingRule2" patternSyntax="Wildcard" stopProcessing="true">
<match url="*" />
<conditions logicalGrouping="MatchAll" trackAllCaptures="false">
<add input="{HTTP_USER_AGENT}" pattern="78.46.128.204" />
</conditions>
<action type="CustomResponse" statusCode="403" statusReason="Forbidden: Access is denied." statusDescription="You do not have permission to view this directory or page using the credentials that you supplied." />
</rule>
Riporto il contenuto del robots.txt
User-agent: 78.46.128.204
User-agent: MegaIndex.ru/2.0
User-agent: MegaIndex.ru
User-agent: megaIndex.ru
User-agent: megaindex.com
User-agent: megaindex.com/crawler
Disallow: /