anche io ho un dedicato (dove c'è webmatters)
possiamo casomai usare server esterni come tarantole e inviamo quello che è stato preso al server centrale (teecno.it) oppure possiamo fare pure una rete di calcolo distribuito

cmq per adesso penso che non ce ne sia bisogno

-OOP se possibile
quoto. soprattutto nel crawler.. oggi ho provato a fare qualcosa ma ho solo php4 (php5 non è in debian stable) e ci ho rinunciato

ta-daaaaaa
http://webmatters.it/teecno2/robots.php
http://webmatters.it/teecno2/robots.phps (sorgente)

mancano i commenti e ottimizzazioni varie.. però sembra che funzioni

@osvi said:

ta-daaaaaa
http://webmatters.it/teecno2/robots.php
http://webmatters.it/teecno2/robots.phps (sorgente)

mancano i commenti e ottimizzazioni varie.. però sembra che funzioni

ma lol cmq male! php5.1 4ever

io ho quasi finito una mod per avere gli screenshots dei siti visitati xd

@denadai2 said:

ma lol cmq male! php5.1 4ever

io ho quasi finito una mod per avere gli screenshots dei siti visitati xd

o:o

Allora, sugli altri server sarebbe utilissimo montare degli spider che vanno in caccia dei siti web

Dobbiamo stabilire un criterio.

Ad esempio, come primo test sarebbe utile prendere tutti e 180.000 i siti sotto http://www.dmoz.org/World/Italiano/

Solo sotto Italiano però.

E poi lanciamo gli spider anche per tutte le pagine interne ed i siti linkati da questi.

E' un'idea per inizare ad avere un DB con qualche dato in più

@Giorgiotave said:

o:o

Allora, sugli altri server sarebbe utilissimo montare degli spider che vanno in caccia dei siti web

Dobbiamo stabilire un criterio.

Ad esempio, come primo test sarebbe utile prendere tutti e 180.000 i siti sotto http://www.dmoz.org/World/Italiano/

Solo sotto Italiano però.

E poi lanciamo gli spider anche per tutte le pagine interne ed i siti linkati da questi.

E' un'idea per inizare ad avere un DB con qualche dato in più

no nn si da caccia alle pagine web senza uno spider buono. E' spreco
inoltre secondo me per inziare sarebbe meglio che alcuni siti si iscrivessero allo spider e noi passiamo solo in quei siti e memorizziamo i links esterni nulla di + senza visitarli.
In questo modo si può ricercare qualsiasi cosa tra i siti iscritti... in un secondo momento quando si ha lo spider buono e sopratutto risorse si potrà spiderizzare il web italiano

Si si, era ovvio, anche perchè i criterio potrebbe cambiare, quindi prima lo spider

quoto dobbiamo migliorare lo spider prima
ieri sera ho provato a farlo in php4.. ho provato varie classi di parsing html ma niente, il domxml di php5 è 10 anni avanti (anche perchè queste classi erano datate 2003/2004)

che versione di php monta teecno.it?

io per carità, sul desktop ho kubuntu (php5) ma è inutile che programmo una cosa che poi non possiamo mettere sul server

io i tests li faccio su il mio server php5.1

l'unica cosa di cui ho paura è teecno.it... nn vorrei mai che fosse un hosting semplice magari su natan...

php5 => xslt per essere + powaa (io sto finendo uno script per bulletin boards con xslt ed è una roba velocissima)

Teecno attualmente è su un server dedicato che ospita anche altri siti, la versione di php è la 4, perchè al momento la 5 non serviva, potremmo installare la 5, ma visto che Giorgio intende prendere un nuovo server da dedicare solamente a Teecno non so se l'operazione sia poi così necessaria.

@denadai2 said:

Consigli al volo:
-separare php da html
-commentare!
-OOP se possibile
-sicurezza

denadai2, apprezzo i tuoi consigli, ma figurati che questa è la prima applicazione che ho programmato in php, provengo dall' ASP che cose tipo la programmazione ad Oggetti non la permette, la sicurezza si realizza in modo differente e i commenti li ho mancati per questioni di tempo / dimenticanza

Cmq ti sarei grato se mi potresti evidenziare come si può gestire il tutto ad Oggetti e come si implementa la sicurezza di questa applicazione sempre per incrementare le conoscenze di tutti i lettori del forum. Anche piccoli esempi per chiarire il concetto possono essere buoni, non ti chiedo assolutamente di riscrivere il tutto

Ciao
Tony.

quando avrete lo spi(n)er buono, passatemene uno che lo faccio fumare al mio server

@EmmeBar said:

Teecno attualmente è su un server dedicato che ospita anche altri siti, la versione di php è la 4, perchè al momento la 5 non serviva, potremmo installare la 5, ma visto che Giorgio intende prendere un nuovo server da dedicare solamente a Teecno non so se l'operazione sia poi così necessaria.

kk

@tonyx said:

denadai2, apprezzo i tuoi consigli, ma figurati che questa è la prima applicazione che ho programmato in php

ah.. nn avevo visto che l'avevi fatta te cmq ok

@tonyx said:

la sicurezza si realizza in modo differente

si realizza subito la sicurezza e in che modo penseresti di farla?

@tonyx said:

Cmq ti sarei grato se mi potresti evidenziare come si può gestire il tutto ad Oggetti e come si implementa la sicurezza di questa applicazione sempre per incrementare le conoscenze di tutti i lettori del forum. Anche piccoli esempi per chiarire il concetto possono essere buoni, non ti chiedo assolutamente di riscrivere il tutto

nn è difficile ma prima subversion

per subversion possiamo usare opensvn... oppure sourceforge..

sicurezza: certo, è la prima cosa da tenere in considerazione. ma non è vero che OOP=sicurezza
la programmazione ad oggetti va usata solo dove serve (spider secondo me)
inutile andare a scrivere una classe per mysql $risultati = new Query......

rallenta l'esecuzione e non porta nessun vantaggio

rallenta l'esecuzione e non porta nessun vantaggio
dici?

Io utilizzerei una classe di astrazione al db. Nel caso, non improbabile, che un giorno si voglia cambiare tipo di database ad esempio...

ho visto dei test di utenti di un altro forum noto
script con e senza classe per l'astrazione de database.. numeri impressionanti

non credo che per adesso mysql venga abbandonato ( "Mytrix Inc. for example, is maybe the largest MySQL database site in the world, storing more than a terabyte of data.")
certo, esistono database enormi e performanti con altri engine, per carità

visto che essenzialmente sono solo un paio di query (tra l'altro con JOIN SQL92-compilant) non dovrebbero esserci problemi nel modificarle (assumendo che non siano compatibili col futuro database)

almeno secondo me

Tony provvederà ad installare subversion, stasera, al massimo domani, dovremmo averlo operativo

Siate pazienti, tanto non c'è fretta.

Si Massy, non è detto che resteremo su questo DB. Siamo aperti a qualsiasi valutazione

la classe si fa per il db nn per ogni singola query... poi nn so una query può ritornare un oggetto anziche un array ma che centra...

L'oop nn è ne + performante ne + lento della procedurale. Molti dicono che rallenta l'esecuzione... ma dipende come uno programma no? l'oop nn da sicurezza di certo è una tecnica di programmazione nn un mago di sicurezza.

L'oop => stile di programmazione che facilita il tutto se poi si vuol fare proceduralmente il tutto secondo me è da pazzi.

usare un diverso db nn ci deve importare per ora... mysql credo vada egregiamente poi mysql 5 è meglio per nuove features e oracle è il migliore ecc... li ci starebbe un lungo discorso ma per ora con alcune select e alcuni insert credo vada bene anche mysql 3

LOL
Non vorremo mica metterci a disquisire sul quale sia il miglior db no?
Ps mysql3 non è un db relazionale secondo me

Il punto è: se io creo una classe di astrazione per il db e dichiaro:
function dbquery=mysql_query (bla bla bal
e le richiamo con
$db->dbquery("insert etc etc"); in tutti i file del progetto
il giorno che cambio db basta solo che modifico la classe lasciando inalterati i vari file.

Senza oop dovrei mettermi a spulciare tutto il progetto a cercare dove ho fatto quelle chiamate.

Fate vobis cmq

A me piacerebbe passare ad OOP, ma non ho pratica con essa.
Avanti a chi ne conosce di più e soprattutto elencatene i vantaggi a chi come me non ha esperienza in tal senso

Due per tutti: manutenibilità del codice e velocità.

Esempio stupido:
crei una classe per definire il template.

p.i $template->crea_box("azzurro");
$template->crea_footer("blue");

una volta che vuoi cambiare il codice di tutti i box azzurri e del footer basta che cambi la classe e non i mille mila file.