Io di solito uso o i plugin dei vari cms (e ormai praticamente tutti li hanno) o i tool suggeriti da google quali http://sourceforge.net/project/showfiles.php?group_id=137793&package_id=153422 (che e' quello ufficiale) o quelli suggeriti qui http://code.google.com/sm_thirdparty.html

Purtroppo a me quelli dei CMS non vanno bene, perchè sto realizzando un nuovo portale fatto interamente da me, per cui mi serve un tool universale..

Ora stavo vedendo quello suggerito da te... Ma se google ne ha uno ufficiale, perchè ne esistono anche a pagamento? Ovvero questo cosa avrà in più di quello ufficiale?
Forse quello di google crea una mappa prettamente ottimizzata per google, mentre quello segnalato da me ne crea una universale?

@pchs said:

Purtroppo a me quelli dei CMS non vanno bene, perchè sto realizzando un nuovo portale fatto interamente da me, per cui mi serve un tool universale..

Ora stavo vedendo quello suggerito da te... Ma se google ne ha uno ufficiale, perchè ne esistono anche a pagamento? Ovvero questo cosa avrà in più di quello ufficiale?
Forse quello di google crea una mappa prettamente ottimizzata per google, mentre quello segnalato da me ne crea una universale?

Quello che hai segnalato tu secondo me e' semplicemente quello base leggermente modificato aggiungendo un'interfaccia grafica piu' intuitiva e il supporto per il controllo dei link "rotti". Da una lettura veloce delle caratteristiche non vedo molte altre funzionalita'.

Io vorrei prendere quello perchè sembra il più semplice, quello più economico e per di più se cerco su google sitemap generation lui è il secondo sito in lista e se faccio il site di quel sito mi escono molte migliaia di pagine indicizzate, mentre ho provato a fare queste cose per altri siti e devo dire che i risultati sono stati molto ma molto scadenti....

Dimmi tu... se ne conosci uno migliore fammi sapere che io a giorni lo devo acquistare

stavo pensando di realizzare uno spider che gira per il sito cmq esistono svariati tool cerca nel forum che ci sono dei topic che affrontano molto bene la questione

@domenico.biancardi said:

stavo pensando di realizzare uno spider che gira per il sito cmq esistono svariati tool cerca nel forum che ci sono dei topic che affrontano molto bene la questione

A dire la verità non ne ho trovati

anche a me interesserebbe sapere come si realizza uno script in php per inviare spider sul proprio sito, cioè spider personali intendo e non quello dei motori.

@cmsv said:

anche a me interesserebbe sapere come si realizza uno script in php per inviare spider sul proprio sito, cioè spider personali intendo e non quello dei motori.

E a che pro?

semplice, indicizare il sito, raccogliere le url archiviarle e correlarci le keyword, fare un motore di ricerca interno, insomma!

In che senso indicizzare? Per indicizzare il sito serve che passi lo spider del motore di ricerca... mica serve che ne giri uno proprio sempre sul sito?

Guarda che non ti sto ribattendo, sto cercando di capire a che serve, perchè sono ignorante in materia

Ho provato quel software chiamato SiteCrawler, ma alla fine io mi fido solo di Notepad++, perchè cambio la priorità delle singole pagine a seconda di quelle meno indicizzate.

@cmsv said:

anche a me interesserebbe sapere come si realizza uno script in php per inviare spider sul proprio sito, cioè spider personali intendo e non quello dei motori.

i passi da fare sono questi:

• leggere la pagina in input (con implode('',file("url_del_file")))
• trovare tutti i link e salvare quelli che possono essere utili in una tabella (creando una lista delle pagine da visitare)
• segnare che la pagina corrente è stata letta ed indicizzata
• effettuare un refresh dello script

appena arrivo ad una versione stabile vi passo il file dello spider tanto è molto semplice a livello di programmazione

il refresh va utilizzato per in php non è possibile eseguire cicli for complessi dato che la memoria a disposizione sul server è molto poca

@trentino said:

Ho provato quel software chiamato SiteCrawler, ma alla fine io mi fido solo di Notepad++, perchè cambio la priorità delle singole pagine a seconda di quelle meno indicizzate.

Utilizzare note pad per un sito grande e dinamico con più di 1000 pagine è un pò complicatuccio. Inoltre anche i software ti permettono di impostare le priorità

Ciao

@pchs said:

Utilizzare note pad per un sito grande e dinamico con più di 1000 pagine è un pò complicatuccio. Inoltre anche i software ti permettono di impostare le priorità

Ciao

infatti figurati per siti con contenuti dinamici nuovi ogni giorno

ed dato che è un mio difetto non utilizzare tool già sviluppati da altri ma creare qualcosa di mio ad hoc per le mie esigenze sto cercando di finire questo spider per sitemap

Fai benissimo! Purtroppo oramai il mio tempo libero è 0 per cui non posso lavorare ad altro. Università, ragazza, sito, nuovo portale, creazione di un nuovo script per il forum di Giorgio, con tutte queste cose da fare sono veramente pieno

Al limite mi piacerebbe provare lo spider che andrai a creare

@domenico.biancardi said:

i passi da fare sono questi:

• leggere la pagina in input (con implode('',file("url_del_file")))
• trovare tutti i link e salvare quelli che possono essere utili in una tabella (creando una lista delle pagine da visitare)
• segnare che la pagina corrente è stata letta ed indicizzata
• effettuare un refresh dello script

il refresh va utilizzato per in php non è possibile eseguire cicli for complessi dato che la memoria a disposizione sul server è molto poca

Penso che si può impostare il timeout non a 30 secondi ma senza limite, così ho visto script girere anche per 300 secondi, poi il refresh allunga considerevolmente i tempi. Comunque mi interessa lo scritp appena lo hai fammi sapere . grazie.

@cmsv said:

Penso che si può impostare il timeout non a 30 secondi ma senza limite, così ho visto script girere anche per 300 secondi, poi il refresh allunga considerevolmente i tempi. Comunque mi interessa lo scritp appena lo hai fammi sapere . grazie.

purtroppo non è abbastanza. meglio la soluzione del refresh automatico. nel giro di un venti minuti mi ha creato la lista completa di un sito molto complesso.
lo script è pronto devo solo renderlo customizzabile con i vari parametri. inoltre si basa su mysql magari cerco di renderlo svincolato dal mysql e ve lo posto

il sistema è quasi pronto e vi posterò un qualcosa in modo che per chi vuole può utilizzarlo nel suo sito. volevo sapere quali funzioni potrebbero interessarvi, così magari le inizio ad implementare

Per la generazione dei sitemap di Google non ci sono solo "buoni" programmi a pagamento, ma anche "ottimi" programmi gratuiti.
Il programma da me utilizzato permette di scansionare siti di qualsiasi dimensione, di rilevare eventuali link rotti, di editare liberamente i dati ottenuti, di caricare tramite ftp il file, etc....
http://gsitecrawler.com
Nel sito troverete anche un file aggiuntivo per rendere italiano il programma.
Ormai è più di un anno che lo utilizzo e non mi ha mai creato problemi anche con siti di decine di migliaia di pagine.
Contrariamente a file generati da altri programmi e scripts, questi sono sempre stati accettati da Google al primo colpo.

uhm interessante... se fa bene il suo lavoro lascio stare lo sviluppo del mio spiderozzo..