Navigazione

    Privacy - Termini e condizioni
    © 2020 Search On Media Group S.r.l.
    • Registrati
    • Accedi
    • CATEGORIES
    • Discussioni
    • Non letti
    • Recenti
    • Hashtags
    • Popolare
    • Utenti
    • Stream
    • Interest
    • Categories
    1. Home
    2. strudeldimela
    3. Post
    S

    strudeldimela

    @strudeldimela

    • Profilo
    • Chi segue 2
    • Da chi è seguito 0
    • Discussioni 1
    • Post 1
    • Migliore 0
    • Gruppi 0
    Iscrizione Ultimo Accesso
    Località torino
    0
    Reputazione
    1
    Post
    0
    Visite al profilo
    0
    Da chi è seguito
    2
    Chi segue
    User Newbie

    Post creati da strudeldimela

    • Bloccare crawler

      Buonasera a tutti,
      spero di essere nella sezione giusta.

      Ho un sito internet che gira su server Windows con IIS 7 che sta ricevendo troppi contatti da un crawler per niente gradito in quanto mi sta consumando un sacco di risorse e in più non credo sia dei più benevoli.

      Il crawler è megaindex

      Ho cercato di contrastarlo sia con il file robots.txt che con gli urlrewrite ma senza esito.

      Qualcuno sa aiutarmi?
      Grazie

      Riporto la regola che ho impostato (questa è sull'ip, ma avevo provato anche con il nome del crawler)


                  <rule name="RequestBlockingRule2" patternSyntax="Wildcard" stopProcessing="true">
                      <match url="*" />
                      <conditions logicalGrouping="MatchAll" trackAllCaptures="false">
                          <add input="{HTTP_USER_AGENT}" pattern="78.46.128.204" />
                      </conditions>
                      <action type="CustomResponse" statusCode="403" statusReason="Forbidden: Access is denied." statusDescription="You do not have permission to view this directory or page using the credentials that you supplied." />
                  </rule>
      

      Riporto il contenuto del robots.txt


      User-agent: 78.46.128.204
      User-agent: MegaIndex.ru/2.0
      User-agent: MegaIndex.ru
      User-agent: megaIndex.ru
      User-agent: megaindex.com
      User-agent: megaindex.com/crawler
      Disallow: /


      postato in SEO
      S
      strudeldimela