Comparatori, Robot e altri divora-risorse

[Pietro Mantovani]

Comparatori, Robot e altri divora-risorse

Ciao a tutti, in un recente thread esponevo un problema legato all'occupazione di risorse del nostro server da parte di un comparatore. Mi sono reso conto che il proliferare di motori (e quindi spider) e soprattutto di comparatori di prezzo che utilizzini bot, potrebbe comportare grossi problemi. Per ora ho (forse) risolto inserendo nel file robots.txt un comando delay dedicato a quei bot che mi creano porblemi.
Nessun altro ha avuto problemi di questo genere?

[jantima]

Ciao Webtronic, sinceramente non mi ero mai chiesta come funzionassero i comparatori di prezzi e trovo le tue informazioni e conclusioni molto interessanti.
Credevo che fossero i siti stessi a dover fornire dei feed dei loro prezzi, e non proprio i bots a crawlare (huh) i siti a caso.
Le risorse che trovi essere consumate dai bots sono la banda o il numero di connessioni simultanee o altro?
Mi auguro che qualcuno abbia altre informazioni a riguardo perchè mi interessa.
Grazie per la discussione.

[Pietro Mantovani]

@Jantima said:

Credevo che fossero i siti stessi a dover fornire dei feed dei loro prezzi, e non proprio i bots a crawlare (huh) i siti a caso.
Ciao Jantima, generalmente funzionano con i feed ma ne esistono vari che hanno i propri crwaler (per esempio shopwiki e twenga).

Le risorse che trovi essere consumate dai bots sono la banda o il numero di connessioni simultanee o altro?

La banda, soprattutto.

Mi auguro che qualcuno abbia altre informazioni a riguardo perchè mi interessa.
Grazie per la discussione.
Interessa molto anche a me. Mi fà paura pensare che qualcuno potrebbe creare dei crawler mal progettati che creini grossi danni economici.