@pchs said:

Utilizzare note pad per un sito grande e dinamico con più di 1000 pagine è un pò complicatuccio. Inoltre anche i software ti permettono di impostare le priorità

Ciao

infatti figurati per siti con contenuti dinamici nuovi ogni giorno

ed dato che è un mio difetto non utilizzare tool già sviluppati da altri ma creare qualcosa di mio ad hoc per le mie esigenze sto cercando di finire questo spider per sitemap

Fai benissimo! Purtroppo oramai il mio tempo libero è 0 per cui non posso lavorare ad altro. Università, ragazza, sito, nuovo portale, creazione di un nuovo script per il forum di Giorgio, con tutte queste cose da fare sono veramente pieno

Al limite mi piacerebbe provare lo spider che andrai a creare

@domenico.biancardi said:

i passi da fare sono questi:

• leggere la pagina in input (con implode('',file("url_del_file")))
• trovare tutti i link e salvare quelli che possono essere utili in una tabella (creando una lista delle pagine da visitare)
• segnare che la pagina corrente è stata letta ed indicizzata
• effettuare un refresh dello script

il refresh va utilizzato per in php non è possibile eseguire cicli for complessi dato che la memoria a disposizione sul server è molto poca

Penso che si può impostare il timeout non a 30 secondi ma senza limite, così ho visto script girere anche per 300 secondi, poi il refresh allunga considerevolmente i tempi. Comunque mi interessa lo scritp appena lo hai fammi sapere . grazie.

@cmsv said:

Penso che si può impostare il timeout non a 30 secondi ma senza limite, così ho visto script girere anche per 300 secondi, poi il refresh allunga considerevolmente i tempi. Comunque mi interessa lo scritp appena lo hai fammi sapere . grazie.

purtroppo non è abbastanza. meglio la soluzione del refresh automatico. nel giro di un venti minuti mi ha creato la lista completa di un sito molto complesso.
lo script è pronto devo solo renderlo customizzabile con i vari parametri. inoltre si basa su mysql magari cerco di renderlo svincolato dal mysql e ve lo posto

il sistema è quasi pronto e vi posterò un qualcosa in modo che per chi vuole può utilizzarlo nel suo sito. volevo sapere quali funzioni potrebbero interessarvi, così magari le inizio ad implementare

Per la generazione dei sitemap di Google non ci sono solo "buoni" programmi a pagamento, ma anche "ottimi" programmi gratuiti.
Il programma da me utilizzato permette di scansionare siti di qualsiasi dimensione, di rilevare eventuali link rotti, di editare liberamente i dati ottenuti, di caricare tramite ftp il file, etc....
http://gsitecrawler.com
Nel sito troverete anche un file aggiuntivo per rendere italiano il programma.
Ormai è più di un anno che lo utilizzo e non mi ha mai creato problemi anche con siti di decine di migliaia di pagine.
Contrariamente a file generati da altri programmi e scripts, questi sono sempre stati accettati da Google al primo colpo.

uhm interessante... se fa bene il suo lavoro lascio stare lo sviluppo del mio spiderozzo..

http://www.giorgiotave.it/forum/google-sitemaps/14572-lista-plugin-e-programmi-per-generare-la-google-sitemap.html

questo è un vecchio post che parla dei generatori di sitemap

@shade said:

Per la generazione dei sitemap di Google non ci sono solo "buoni" programmi a pagamento, ma anche "ottimi" programmi gratuiti.
Il programma da me utilizzato permette di scansionare siti di qualsiasi dimensione, di rilevare eventuali link rotti, di editare liberamente i dati ottenuti, di caricare tramite ftp il file, etc....
http://gsitecrawler.com
Nel sito troverete anche un file aggiuntivo per rendere italiano il programma.
Ormai è più di un anno che lo utilizzo e non mi ha mai creato problemi anche con siti di decine di migliaia di pagine.
Contrariamente a file generati da altri programmi e scripts, questi sono sempre stati accettati da Google al primo colpo.
Visto che c'è la traduzione italiana lo provo anche io.
Grazie

@Pablo Mollusco said:

http://www.giorgiotave.it/forum/google-sitemaps/14572-lista-plugin-e-programmi-per-generare-la-google-sitemap.html

questo è un vecchio post che parla dei generatori di sitemap

A quanto pare non sono il solo a preferirlo.

@shade said:

Per la generazione dei sitemap di Google non ci sono solo "buoni" programmi a pagamento, ma anche "ottimi" programmi gratuiti.
Il programma da me utilizzato permette di scansionare siti di qualsiasi dimensione, di rilevare eventuali link rotti, di editare liberamente i dati ottenuti, di caricare tramite ftp il file, etc....
http://gsitecrawler.com
Nel sito troverete anche un file aggiuntivo per rendere italiano il programma.
Ormai è più di un anno che lo utilizzo e non mi ha mai creato problemi anche con siti di decine di migliaia di pagine.
Contrariamente a file generati da altri programmi e scripts, questi sono sempre stati accettati da Google al primo colpo.

sembra il massimo come programma, lo sto provando da qualche ora e non me ne stacco più grazie per la segnalazione