come usate il file robots.xt

[fello]

come usate il file robots.xt

Ciao a tutti, collegandomi a questa discussione: http://www.giorgiotave.it/forum/viewtopic.php?t=1354&postdays=0&postorder=asc&start=0

voi in definitiva gli spider dannosi succhia banda li inibite (o cercatre di farlo) tramite il file robots.txt oppure no?

Quali altre soluzioni si potrebbero adottare?
Tenete presente che io attualmente sono su server Windows 2003.....

[jck]

Sicuramente la soluzione per impedire l'accesso a spieder dannosi è quella da te proposta.

Utilizza il file robots.txt e inibisci l'accesso al sito a determinati user agent.

[fello]

Ciao jck il dubbio dubbio che mi rimane è quello espresso da Agoago:

Se i motori considerano ed usano a loro uso e consumo i robots come pensare che gli ua meno "seri" vi si attengano?

Si rischia solo di fare robots.txt pesanti che rallenteranno gli spider seri senza frenare in alcun modo gli ua minori.

Alla luce di questa considerazione mi consigliate di provare a inibire gli spider dannosi rischiando di avere un file robots.txt inutilmente lungo e pesante oppure "darla per persa" e quindi non intervenire a tal proposito sul robots.txt?

[777]

dipende dall'incidenza dell'uso della banda

se ne hai in abbondanza, non inibire nulla

se te ne manca e ti costerebbe poco averne, procuratela

se te ne manca e nn ne vuoi prendere altra, prova ad inibirli ma se sono maliziosi se ne fregano del robots.txt

allora, se puoi, banna!

[jck]

Se veramente hai tutti questi accessi da robots anomali ti consiglio di compilare un bel robots.txt che blocchi tutti questi accessi così da non farti mangiare ulteriore banda.

[fello]

mah mi sto documentando in rete e da quanto leggo è inutile compilare un lungo file robots.txt per inibire tali spider, tanto questi ultimi se ne fregano di quel file.....

ho fatto una piccola prova che riguarda un software per scaricare siti in locale (WebReaper) e mettendo nel file robots.txt il seguente codice:

User-agent: WebReaper
Disallow: / 

risultato? sono riuscito ugualmente a scaricare il sito....

A questo punto penso che lascerò il file robots senza provare a inibire nulla

[fello]

Ciao a tutti, riprendo questa discussione perchè ho trovato un interessante articolo...
http://asp.html.it/articoli/leggi/756/impedire-le-visite-dei-web-crawler/

cosa ne dite?
può essere una buona soluzione??

[lilo]

proprio in questi giorni il mio file di log ha raggiunto i 2 giga di peso, per la maggior parte dovuti alla mancanza del file robot.txt sul server.

Il servizio di hosting mi ha chiesto di azzerare tale file in quanto le stat. awstat nn comtemplano una dimensione maggiore del file. E non possono quindi più essere aggiornate.

Azzeramento del file di log può portare a degli scompensi sul posizionamento nei mdr? Awstat contempla veramente questi limiti?