Ciao luvme2tms,

quanto pensi che questo gravi in termini di calcolo?

Ok, infatti pure io nn metterei mai in crontab una entry per ogni url da analizzare.

Ma preso spider.php tu come lo implementeresti?
1.
while ( url_da_analizzare ){
analizzo_pagina();
}

recupero_url_da_DB();
analizzo_pagina();
header( spider.php?url_successivo );

La criticità dei due metodi sta però nel fatto che se un anello della catena si spezza io non percorro tutta la catena. Però per voi non è un gran problema dato che invocate continuamente lo spider.

Io invece dovrei fare uno script che viene lanciato una volta a notte.

Ciao!

Ci ho pensato e ripensato... ho fatto un elenco delle 104 provincie e relativi link ai risultati delle ricerche... ho ripulito gli url da almeno 8 variabili che non erano nemmeno utilizzate (madonna che schifo...) e ora sono in procinto di uppare tutto su una paginetta a PR0 ...
Il fatto è che linkare 104 pagine di un sito senza un minimo di contenuti può essere visto solo come spam... ARGH...

Ho pensato di procedere in questo modo (anche se richiederà molto tempo) installo mediawiki sul sitarello farlocco, gli sbatto dentro dei contenuti originali, pertinenti e non scopiazzati, qua e la gli infilo A TEMA i link che ho preparato... Mi faccio un po' di BL qua e la, submitto il sitarello a google e poi incrocio le dita... nell'arco di 3 o 4 mesi dovrebbe indicizzarsi... spero...

@eLLeGi
Sono perfettamente e assolutissimamente daccordo... peccato che io non abbia un sito.... non ancora almeno!
Sto organizzando un sito ma per il momento sono ancora offline, ci vorrà ancora qualche mese, e anche ammesso che lo avessi già non avrebbe nessuna LP

ciao