Spiderizzare un sito

[gabriele]

Spiderizzare un sito

Ho un sito web fatto tutto con PHP, ho bisogno di far passare uno spider sulle pagine così che vengano generati i file dallo script php.
di che software mi posso dotare per fare questo?

[giorgiotave]

Ciao Gabriele,

informati su Google Sitemaps

[karloidd]

@Gabriele said:

Ho un sito web fatto tutto con PHP, ho bisogno di far passare uno spider sulle pagine così che vengano generati i file dallo script php.
Scusa ma non capisco lo scopo di far passare lo spider.
Se usi un sistema di caching, tipo una qualche class php, allora bisognerebbe sapere i valori di refresh della cache e comunque uno spider remoto non è detto che sia performante al meglio, ovvero potrebbe scaricare solo qualche pagina alla volta e in tempi diversi. Meglio usare uno di quei tanti programmi client per scaricare interi siti.
Se invece stai parlando di script php che generano dei file statici e devi pubblicare solo i secondi, allora è meglio procedere in locale e poi trasferire sul server solo gli statici.

[everfluxx]

@Karloidd said:

Scusa ma non capisco lo scopo di far passare lo spider. [...]
Meglio usare uno di quei tanti programmi client per scaricare interi siti.
...E questi software usano appunto degli spider.

Consiglio HTTrack.