- Home
- Categorie
- Digital Marketing
- Consigli su Penalizzazioni e Test SEO
- Dubbio robots.txt
-
Dubbio robots.txt
Ciao a tutti, ho alcuni piccoli dubbi sul file robots.txt e spero possiate aiutarmi.
- All'interno del file robots.txt ho inserito un lungo elenco per bloccare user agen inutili per i dowload interi del sito e spam. Quì di seguito le prime 6 righe del mio file robots.txt:
User-agent: Alexibot
User-agent: Aqua_Products
User-agent: BackDoorBot
User-agent: BackDoorBot/1.0
User-agent: Black Hole
User-agent: Black.Hole
..... ecc ecc
e termina così
User-agent: Widow
User-agent: WinHTTrack
Disallow: /
In totale sono 388 e l'ho inserito prevalentemente per evitare che utlizzando programmi quali Webcopier, Teleport ecc ecc utenti maleintenzionati possano scaricare direttamente i css o delle immagini e per evitare che agent inutili occupino banda sul sito.
Volevo semplicemente sapere se l'elenco completo che ho inserito rallenta in qualche modo il sito.
Se la risposta è no ci sono dei motivi per cui sarebbe meglio che non lo utilizzassi?
( L'elenco l'ho preso nel forum all'indirizzo: giorgiotave.it/forum/laboratorio-seo/1271-elenco-user-agent-inutili.html)Grazie mille.
- All'interno del file robots.txt ho inserito un lungo elenco per bloccare user agen inutili per i dowload interi del sito e spam. Quì di seguito le prime 6 righe del mio file robots.txt: