• G
    User •

    Dubbio robots.txt

    Ciao a tutti, ho alcuni piccoli dubbi sul file robots.txt e spero possiate aiutarmi. :mmm:

    1. All'interno del file robots.txt ho inserito un lungo elenco per bloccare user agen inutili per i dowload interi del sito e spam. Quì di seguito le prime 6 righe del mio file robots.txt:
      User-agent: Alexibot
      User-agent: Aqua_Products
      User-agent: BackDoorBot
      User-agent: BackDoorBot/1.0
      User-agent: Black Hole
      User-agent: Black.Hole
      ..... ecc ecc
      e termina così
      User-agent: Widow
      User-agent: WinHTTrack
      Disallow: /

    In totale sono 388 e l'ho inserito prevalentemente per evitare che utlizzando programmi quali Webcopier, Teleport ecc ecc utenti maleintenzionati possano scaricare direttamente i css o delle immagini e per evitare che agent inutili occupino banda sul sito.
    Volevo semplicemente sapere se l'elenco completo che ho inserito rallenta in qualche modo il sito.
    Se la risposta è no ci sono dei motivi per cui sarebbe meglio che non lo utilizzassi?
    ( L'elenco l'ho preso nel forum all'indirizzo: giorgiotave.it/forum/laboratorio-seo/1271-elenco-user-agent-inutili.html)

    Grazie mille.

    0
Effettua l'accesso per rispondere