non so se li avete già segnalati

User-agent: Xenu's Link Sleuth 1.1c
Disallow: /

User-agent: Xenu's
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: WebmasterWorldForumBot
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebStripper/2.02
Disallow: /

User-agent: WebSauger
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: WebReaper
Disallow: /

User-agent: webmirror
Disallow: /

Io consumo molto, un bel test mettere il robots.......

Il robots con molti ua e' utilissimo al fine del risparmio banda se non si usa adsense. Viceversa si rischia di uccidere un server. E' un problema grosso e credo difficilmente risolvibile.

Ago come mai?

@giorgiotave said:

Ago come mai?

Era solo una provocazione, una questione di principio. AdS ha un suo spider, ti analizza la pagina e mostra gli annunci attinenti ai suoi contenuti. Come tutti gli spider "sarebbe" tenuto a verificare continuamente il robots.txt del sito (almeno ogni volta che il Mediapartners-Google passa e legge una pagina). Ma non lo fa se non raramente, quasi sempre per pagine lette la prima volta.

Questo comportamento e' ...

E' un discorso lunghissimo e non ho voglia di iniziare una lotta contro i mulini a vento, non ho una Dulcinea del Toboso per la quale ne velga la pena.

Condannereste un innocente pur di condannare 100 colpevoli?
Se implemento un filtro, che penalizza quel sito che riceve-eccede in breve tempo in link ricevuti, levo una miriade di siti di spam, ma so che in qualche caso anche un sito che riporta una "novita' assoluta" rischiera', con buone probabilita', di essere bannato per "immediato eccesso di successo".

Mediapartners-Google e' uno spider e pertanto dovrebbe rispondere alle "leggi" per gli spider.

Peccato che queste "leggi" siano ad uso e consumo dei motori stessi.
Faccio un esempio. Vi immaginate qualche regola non legata al fattore tempo??

Devi pagare il canone televisivo. Vuol dire che lo pago un anno e poi mai piu?. Devi fare il biglietto per parcheggiare. Lo faccio oggi e poi sono a posto per la vita? Per entrare al cinema compra il biglietto. Bene, ne compro uno e poi entro a sbafo a vita?

No, non esiste, il tempo scorre e tutto e' in base al tempo. Questo quando non sei a casa tua. Se "usi", accedi a cose altrui dovrai rinnovare di volta in volta il contratto tra le 2 parti, tu e chi ti fa accedere ai suoi beni.

Allora uno spider ogni volta che accede ad una mia pagina dovrebbe verificare la mia volonta', la mia scelta di farlo accedere o meno a quella mia pagina.

Ma i motori non specificano il tempo di considerazione di un robots.txt e soprattutto non hanno memoria.
Non ti dicono che controllano il robots.txt al massino 1 volta al giorno, e se ti sta bene cosi' allora ok viceversa amen.

Lo controllano quando e come vogliono loro. E se io non volessi dalle 3 alle 4 farmi spiderizzare una pagina? Beh direte, se non accetti le loro regole nessuno ti obbliga a farti spiderizzare.

Ok ma se un altro utente inserisce nel loro add url la mia url?

Beh, allora potrai decidere di lasciarli fuori a vita grazie al robots.txt

Ma se volessi essere inserito? Allora vado e leggo cosa dice lo standard per i robots, e mi adeguo, ma io mi adeguo mentre i motori si adeguano al mio robots solo quando decidono di leggerlo.

Ma dovrebbero leggere il robots.txt SEMPRE prima di spiderizzare una mia pagina. SEMPRE. Sempre perche' lo standard non specifica un tempo e pertanto la logica del buon padre di famiglia consiglia: sempre.

Ma non lo fanno. Perche' non lo fanno? Perche' non ne sono obbligati. Il robots.txt e' solo un'indicazione, un suggerimento, nulla di piu'.

Ed allora se nessuno sul web e' "obbligato" a seguire cerrettamente un'indicazione di massima che senso ha pensare che mettere un elenco infinito di ua "perniciosi" possa avere un senso?

Se i motori considerano ed usano a loro uso e consumo i robots come pensare che gli ua meno "seri" vi si attengano?

Si rischia solo di fare robots.txt pesanti che rallenteranno gli spider seri senza frenare in alcun modo gli ua minori.

Non so perchè, ma ieri sera quando mi stavo addormentando ormai sulla tastiera l'ultimo post che ho letto è stato questo e mi sono chiesto proprio chi obbliga uno spider a considerare i robots?
Mi sembra troppo facile e troppo semplice, in un mondo in cui devi cercare di proteggerti a più non posso perchè c'è sempre qualcuno che tenta di fregarti, qualcuno che tenta di bucare quello che hai fatto o le tue difese.

Io chiedo a giganti dello spam, a "siti" senza molti peli sulla lingua di non considerare alcune sezioni del sito semplicemente con un file di testo piccolo piccolo.

Mi puzza molto.

Con questa riflessione mi sono addormentato e questa mattina ho trovato quacun'altro che avvalora la mia tesi.

:bho: testato per quello che più mi premeva Teleport, risultati:
cinque minuti a scrivere il robots meglio utilizzabili per l'allevamento di coccodrilli, scarica il sito che è una bellezza.... nonostante il ban ai vari "emailcollector" lo spam non si conta... mie conclusioni "affrettate" il robots serve per evitare errore 404 e a poco altro

Feci una prova tempo fa con il file robot: risultato...non serve allo scopo.

Per fare quello che dite bisognerebbe agire lato server analizzando l'HTTP_USER_AGENT.

Teleport pro 1.62 ad esempio restituisce HTTP_USER_AGENT: mozilla/4.0 (compatible; msie 7.0; windows nt)

se in asp scrivi 2 righe di codice:

crawler = LCase(Request.ServerVariables("HTTP_USER_AGENT"))
if instr(crawler , "compatible") then response.redirect("vai-a-pagina-inesistente")

il crawler di turno non pescherà nessun dato della pagina che cerca ma sarà reindirizzato ad una pagina di nostra scelta o inesistente.

Bisognerebbe analizzare la cosa avendo una forbita lista di HTTP_USER_AGENT dei vari crawler.

@Luca

Con quel codice escludi pure tutti i browser IE:

Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1)
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1)

Condivido invece sull'approccio, di non limitarsi al robots.txt, ma anche controllare il browser ad ogni richiesta di pagina.

@Webmaster70 said:

@Luca

Con quel codice escludi pure tutti i browser IE:

Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1)
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1)

Condivido invece sull'approccio, di non limitarsi al robots.txt, ma anche controllare il browser ad ogni richiesta di pagina.

il mio era ovviamente un esempio infatti ripeto che bisognerebbe analizzare la cosa avendo una forbita lista di HTTP_USER_AGENT dei vari crawler.

E io ripeto, se il mio esempio non era così esplicito, che bisogna testarlo con gli user agent di tutti i browser.

Se Teleport si camuffa da IE (come nel tuo esempio, e spesso software del genere lo fanno) attenzione a non escludere IE.

Feci a suo tempo delle prove per escludere teleport e simili con il robots e fallì miseramente...

Non so se il fallimento sia stato dato da un "impegno approssimativo e veloce" da parte mia o dall'abilità di questi software a non tener conto dei robots.

Sono interessato comunque a studiare la cosa...mi piacerebbe vedere alcune riflessioni ma soprattutto alcune prove in questo 3d.