@Gabriele said:
Ho un sito web fatto tutto con PHP, ho bisogno di far passare uno spider sulle pagine così che vengano generati i file dallo script php.
Scusa ma non capisco lo scopo di far passare lo spider.
Se usi un sistema di caching, tipo una qualche class php, allora bisognerebbe sapere i valori di refresh della cache e comunque uno spider remoto non è detto che sia performante al meglio, ovvero potrebbe scaricare solo qualche pagina alla volta e in tempi diversi. Meglio usare uno di quei tanti programmi client per scaricare interi siti.
Se invece stai parlando di script php che generano dei file statici e devi pubblicare solo i secondi, allora è meglio procedere in locale e poi trasferire sul server solo gli statici.