• User Newbie

    Bloccare crawler

    Buonasera a tutti,
    spero di essere nella sezione giusta.

    Ho un sito internet che gira su server Windows con IIS 7 che sta ricevendo troppi contatti da un crawler per niente gradito in quanto mi sta consumando un sacco di risorse e in più non credo sia dei più benevoli.

    Il crawler è megaindex

    Ho cercato di contrastarlo sia con il file robots.txt che con gli urlrewrite ma senza esito.

    Qualcuno sa aiutarmi?
    Grazie

    Riporto la regola che ho impostato (questa è sull'ip, ma avevo provato anche con il nome del crawler)


                <rule name="RequestBlockingRule2" patternSyntax="Wildcard" stopProcessing="true">
                    <match url="*" />
                    <conditions logicalGrouping="MatchAll" trackAllCaptures="false">
                        <add input="{HTTP_USER_AGENT}" pattern="78.46.128.204" />
                    </conditions>
                    <action type="CustomResponse" statusCode="403" statusReason="Forbidden: Access is denied." statusDescription="You do not have permission to view this directory or page using the credentials that you supplied." />
                </rule>
    

    Riporto il contenuto del robots.txt


    User-agent: 78.46.128.204
    User-agent: MegaIndex.ru/2.0
    User-agent: MegaIndex.ru
    User-agent: megaIndex.ru
    User-agent: megaindex.com
    User-agent: megaindex.com/crawler
    Disallow: /