- Home
- Categorie
- Gli Off Topic
- Tutti i Software
- Web Scraping: qualche programma usare?
-
Web Scraping: qualche programma usare?
Salve a tutti,
avreste da consigliarmi qualche programma free o in prova per effettuare web scraping?Grazie.
-
Mi verrebbe da dirti di usare scrapebox, non è gratis, ma costa pochissimo ed è attualmente il migliore per fare scraping in rete.
Poi dipende dallo scopo per cui devi fare scraping, e anche da sistema operativo che usi.
Se poi lo scopo è di fare il parsing delle pagine per tirare giù qualche dato specifico la questione è diversa.
-
Ho dato un'occhiata a ScrapeBox, ma a cosa serve esattamente?
Leggo che si permette di programmare dei TASK? E' corretto?Ho praticamente un vecchio sito web, offline, che contiene centinaia di tabelle (per fortuna tutte uguali!) contenenti dei dati uguali tra di loro per tipologia.
Dovrei convertire questo sito in un sito dinamico, quindi importare tutti i contenuti in un database MySQL per poter poterli gestire da li.
-
Ooooh, ok, allora non è quello che credevo, scrapebox scarica liste email e URL, fa il check del pagerank di liste di siti, controlla la presenza di link, e sarebbe nato per pubblicare commenti di massa, insomma, fa una serie di cose utili in certi casi ai fini SEO, poi black hat o white hat poi dipende da chi lo usa, ma non adatto in questo.
Mhhh... se hai mac, c'è Fake che è gratuito in una forma ridotta che ti può permettere questo, per PC conosco UBot Studio, ma costa, però è ottimo, e poi Mozenda e iRobosoft che dovrebbero essere Free, ma non ho mai usato.
E' una cosa ripetitiva o devi farlo solo una volta? In tal caso potresti valutare di commissionare il lavoro a chi ha magari già esperienza nell'usarli, o anche fare uno script in php.
-
Mi piacere capirle come farlo, non si sa mai in futuro potrebbe servirmi nuovamente....
Faccio un test dei due programmi da te linkati.
Se volessi fare qualcosa ad hoc in PHP, c'è una libreria esistente da poter usare?
Grazie.
-
Direi che cUrl è quello che dovresti usare: www _ php.net/manual/it/book.curl.php
-
Ho testato Mozenda, davvero ottimo...semplice nel suo utilizzo e molto funzionale.
Peccato che si blocca quando non viene trovato un ITEM, anche se effettivamente questo non esiste.
Anche se ho capito che per esportare i dati sicuramente servirà la versione a pagamento.IRobotSoft un po' meno chiaro, devo testarlo meglio.
Alla fine se non riuscirò proverò con PHP!
-
Bene, mi fa piacere che una mezza soluzione l'hai trovata. Se mi viene in mente altro ti avviso.
-
Ciao felino,
Uno script php, con cURL per importare la pagina e qualche riga di codice in XPath (con una breve ricerca trovi la pagina ricca di esempi su php.net) per leggere i nodi della pagina che ti interessano e sei a posto.Se, come hai detto, ti piace imparare anziché avere cose troppo "self service", troverai pane per i tuoi denti.
In ogni caso, se hai bisogno d'aiuto, chiedi tranquillamente.
-
Grazie per la vostra disponibilità ragazzi, fine settimana mi dedico a questo, speriamo di riuscirci!
-
E' un piacere, buon fine settimana di studio. hehehe
