- Home
- Categorie
- La Community Connect.gt
- Tutto sulla Community
- Cosa usate per creare le mappe dei vostri siti?
-
@domenico.biancardi said:
stavo pensando di realizzare uno spider che gira per il sito cmq esistono svariati tool cerca nel forum che ci sono dei topic che affrontano molto bene la questione
A dire la verità non ne ho trovati
-
anche a me interesserebbe sapere come si realizza uno script in php per inviare spider sul proprio sito, cioè spider personali intendo e non quello dei motori.
-
@cmsv said:
anche a me interesserebbe sapere come si realizza uno script in php per inviare spider sul proprio sito, cioè spider personali intendo e non quello dei motori.
E a che pro?
-
semplice, indicizare il sito, raccogliere le url archiviarle e correlarci le keyword, fare un motore di ricerca interno, insomma!
-
In che senso indicizzare? Per indicizzare il sito serve che passi lo spider del motore di ricerca... mica serve che ne giri uno proprio sempre sul sito?
Guarda che non ti sto ribattendo, sto cercando di capire a che serve, perchè sono ignorante in materia
-
Ho provato quel software chiamato SiteCrawler, ma alla fine io mi fido solo di Notepad++, perchè cambio la priorità delle singole pagine a seconda di quelle meno indicizzate.
-
@cmsv said:
anche a me interesserebbe sapere come si realizza uno script in php per inviare spider sul proprio sito, cioè spider personali intendo e non quello dei motori.
i passi da fare sono questi:
- leggere la pagina in input (con implode('',file("url_del_file")))
- trovare tutti i link e salvare quelli che possono essere utili in una tabella (creando una lista delle pagine da visitare)
- segnare che la pagina corrente è stata letta ed indicizzata
- effettuare un refresh dello script
appena arrivo ad una versione stabile vi passo il file dello spider tanto è molto semplice a livello di programmazione
il refresh va utilizzato per in php non è possibile eseguire cicli for complessi dato che la memoria a disposizione sul server è molto poca
-
@trentino said:
Ho provato quel software chiamato SiteCrawler, ma alla fine io mi fido solo di Notepad++, perchè cambio la priorità delle singole pagine a seconda di quelle meno indicizzate.
Utilizzare note pad per un sito grande e dinamico con più di 1000 pagine è un pò complicatuccio. Inoltre anche i software ti permettono di impostare le priorità
Ciao
-
@pchs said:
Utilizzare note pad per un sito grande e dinamico con più di 1000 pagine è un pò complicatuccio. Inoltre anche i software ti permettono di impostare le priorità
Ciao
infatti
figurati per siti con contenuti dinamici nuovi ogni giornoed dato che è un mio difetto non utilizzare tool già sviluppati da altri ma creare qualcosa di mio ad hoc per le mie esigenze sto cercando di finire questo spider per sitemap
-
Fai benissimo! Purtroppo oramai il mio tempo libero è 0 per cui non posso lavorare ad altro. Università, ragazza, sito, nuovo portale, creazione di un nuovo script per il forum di Giorgio, con tutte queste cose da fare sono veramente pieno
Al limite mi piacerebbe provare lo spider che andrai a creare
-
@domenico.biancardi said:
i passi da fare sono questi:
- leggere la pagina in input (con implode('',file("url_del_file")))
- trovare tutti i link e salvare quelli che possono essere utili in una tabella (creando una lista delle pagine da visitare)
- segnare che la pagina corrente è stata letta ed indicizzata
- effettuare un refresh dello script
il refresh va utilizzato per in php non è possibile eseguire cicli for complessi dato che la memoria a disposizione sul server è molto poca
Penso che si può impostare il timeout non a 30 secondi ma senza limite, così ho visto script girere anche per 300 secondi, poi il refresh allunga considerevolmente i tempi. Comunque mi interessa lo scritp appena lo hai fammi sapere . grazie.
-
@cmsv said:
Penso che si può impostare il timeout non a 30 secondi ma senza limite, così ho visto script girere anche per 300 secondi, poi il refresh allunga considerevolmente i tempi. Comunque mi interessa lo scritp appena lo hai fammi sapere . grazie.
purtroppo non è abbastanza. meglio la soluzione del refresh automatico. nel giro di un venti minuti mi ha creato la lista completa di un sito molto complesso.
lo script è pronto devo solo renderlo customizzabile con i vari parametri. inoltre si basa su mysql magari cerco di renderlo svincolato dal mysql e ve lo posto
-
il sistema è quasi pronto e vi posterò un qualcosa in modo che per chi vuole può utilizzarlo nel suo sito. volevo sapere quali funzioni potrebbero interessarvi, così magari le inizio ad implementare
-
Per la generazione dei sitemap di Google non ci sono solo "buoni" programmi a pagamento, ma anche "ottimi" programmi gratuiti.
Il programma da me utilizzato permette di scansionare siti di qualsiasi dimensione, di rilevare eventuali link rotti, di editare liberamente i dati ottenuti, di caricare tramite ftp il file, etc....
http://gsitecrawler.com
Nel sito troverete anche un file aggiuntivo per rendere italiano il programma.
Ormai è più di un anno che lo utilizzo e non mi ha mai creato problemi anche con siti di decine di migliaia di pagine.
Contrariamente a file generati da altri programmi e scripts, questi sono sempre stati accettati da Google al primo colpo.
-
uhm interessante... se fa bene il suo lavoro lascio stare lo sviluppo del mio spiderozzo..
-
questo è un vecchio post che parla dei generatori di sitemap
-
@shade said:
Per la generazione dei sitemap di Google non ci sono solo "buoni" programmi a pagamento, ma anche "ottimi" programmi gratuiti.
Il programma da me utilizzato permette di scansionare siti di qualsiasi dimensione, di rilevare eventuali link rotti, di editare liberamente i dati ottenuti, di caricare tramite ftp il file, etc....
http://gsitecrawler.com
Nel sito troverete anche un file aggiuntivo per rendere italiano il programma.
Ormai è più di un anno che lo utilizzo e non mi ha mai creato problemi anche con siti di decine di migliaia di pagine.
Contrariamente a file generati da altri programmi e scripts, questi sono sempre stati accettati da Google al primo colpo.
Visto che c'è la traduzione italiana lo provo anche io.
Grazie
-
@Pablo Mollusco said:
questo è un vecchio post che parla dei generatori di sitemap
A quanto pare non sono il solo a preferirlo.
-
@shade said:
Per la generazione dei sitemap di Google non ci sono solo "buoni" programmi a pagamento, ma anche "ottimi" programmi gratuiti.
Il programma da me utilizzato permette di scansionare siti di qualsiasi dimensione, di rilevare eventuali link rotti, di editare liberamente i dati ottenuti, di caricare tramite ftp il file, etc....
http://gsitecrawler.com
Nel sito troverete anche un file aggiuntivo per rendere italiano il programma.
Ormai è più di un anno che lo utilizzo e non mi ha mai creato problemi anche con siti di decine di migliaia di pagine.
Contrariamente a file generati da altri programmi e scripts, questi sono sempre stati accettati da Google al primo colpo.sembra il massimo come programma, lo sto provando da qualche ora e non me ne stacco più grazie per la segnalazione