Come si crea un Crawler

[jolly89821]

Come si crea un Crawler

Ciao,
avrei bisogno del vostro aiuto per poter creare un crawler e importare dati sul mio sito.
Vi spiego meglio.
Sono in possesso di uno script aggregatore di deal e vorrei importare i deal da vari siti sul mio,
per fare ciò dovrei creare un crawler e caricarlo sul mio server, ho già altri crawler pronti
ma per siti stranieri e con ciò non sono riuscito lo stesso a crearne uno per dei siti italiani.

Qualcuno può darmi una mano?
Grazie mille.

[erise]

Con un po di buon php, file_get_contents e espressioni regolari riesci a fare tutto

[francesco.di.caprio]

E' come dice erise, anche se mi permetto di dissentire su file_get_contents(). E' troppo basilare per un crawler "serio", meglio puntare su qualcosa di più avanzato come cURL.

[lucapalomba]

Creare un crawler può sembrare semplice , la parte più difficile è far sì che il tuo crawler diventi efficiente sia a livelli di analisi semantica che di prestazioni. Se sei già in possesso dialtri crawler per siti stranieri dovrebbe esserti più semplice l' analisi.

[jolly89821]

Grazie mille, ho già risolto il problema da solo,
pensa che un utente del forum mi ha chiesto 250€
per modificarmi un crawler gia pronto.

[lucapalomba]

Sarei molto interessato a sapere come ( se è possibile ovviamente ) , è una disciplina che mi intriga.