Una nota sulla compressione:
ho letto l'articolo postato da Stuart ed è quello che sto utilizzando io, le zlib. Io chiedevo se esistono altri sistemi che occupino poca cpu ma che comprimano maggiormente. Sostanzialmente io ho usato il metodo che utilizzava G agli inizi, non so poi se sia cambiato..

uMoR sicuramente se indicizzi il tutto senza l'html ma solo il testo risparmi un sacco di spazio, però questa è una considerazione che devi fare tu in base al tuo Ranker.
Mi spiego meglio, togliendo tutti i tag non sai nemmeno quali sono link e quali no, amenoche tu non faccia una cosa del tipo:

Prendi la pagina
la analizzi e prendi quello che ti serve
La salvi senza TAG, ma a questo punto a cosa ti serve salvarla?

Ovviamente quando a google chiedi la cache lui ti restituisce la pagina completa, ma io non tenterei di paragonarmi a google perchè purtroppo le idee un pò tutti ce le abbiamo, ma i soldi??? Quello è il problema !!
L' HW costa!!

CMQ per la tua richiesta, hai mai provato a comparare le zlib che attualmente usi con le bzip?

www.bzip.org

Prova magari e facci sapere!!

dimenticavo, hai dato uno sguardo sempre per prendere spunto dal progetto UIMA dell'IBM:

http://www.alphaworks.ibm.com/tech/uima

Unstructured information management (UIM) applications are software systems that analyze unstructured information (text, audio, video, images, etc.) to discover, organize, and deliver relevant knowledge to the user. In analyzing unstructured information, UIM applications make use of a variety of analysis technologies, including statistical and rule-based Natural Language Processing (NLP), Information Retrieval (IR), machine learning, and ontologies.

Ci darò un occhio. Comunque io non utilizzo i tag html per calcolare il ranking, faccio altri tipi di considerazioni.. quindi in teoria l'html non mi serve però se qualcuno mi chiede la copia cache che gli faccio vedere ??

@uMoR said:

Premettendo che lo spider non sta attaccato a nessun sito, massimo prendo 2-3 pagine a dominio
Che user-agent usa il tuo spider?

quindi in teoria l'html non mi serve però se qualcuno mi chiede la copia cache che gli faccio vedere ??
Gli fai vedere la pagina originale in un iframe e fai finta che sia una copia cache.

Everfluxx: bell'idea quella dell'iframe

Il mio spider usa lo user agent di ie..

@uMoR said:

Il mio spider usa lo user agent di ie..
()

rinzi almeno un cluster lo devi avere, non ti dico la San ma almeno un doppio sistema.
inoltre ti consiglio di usare un cluster di mysql, molto più fattibile....cerca in rete e trovarai varie info.

Secondo te non le ho provate ste cose?
Fidati che non conviene..

A quel punto conviene usare i ramdisk, perchè la struttura a cluster di MySql non è chissachè, ma qui parliamo di cose tecniche che non rientrano nel titolo del thread.

Io chiedevo solo metodi di compressione, non come impostare la mia potenza di calcolo.

Io non ho chiaro che cosa va compresso.

Va compresso un indice o va compresso del testo?

Nel caso in cui si trattasse di un indice, che tipo di informazioni contiene, che struttura ha?

Non esiste un algoritmo di compressione ottimale per tutte le occasioni. Dati diversi e formati diversi richiedono algoritmi di compressione diversi.

Già dacci qualche dettaglio tecnico in più per capire meglio che tipo di compressione usare.

(Che bugiardo che sono la realtà è che sono curioso e vorrei apprendere queste cose come funzionano!!!)

Io sto chiedendo come comprimere le pagine html che spiderizzo. Attualmente con le zlib comprime in maniera veloce e abbastanza efficace, ma il db si fa grosso..

@uMoR said:

Io sto chiedendo come comprimere le pagine html che spiderizzo. Attualmente con le zlib comprime in maniera veloce e abbastanza efficace, ma il db si fa grosso..

Questo sito è un buon inizio: compara le prestazioni di diversi software/algoritmi di compressione: http://www.maximumcompression.com/

Tuttavia, come ti dicevo, le prestazioni variano molto a seconda di cosa bisogna comprimere. Le pagine HTML sono un orrendo mix di struttura e contenuto. Già separando infile diversi la struttura (tag HTML) ed il contenuti (testi), otterresti a mio parere risultati migliori. Sopratutto perché potresti usare algoritmi di compressione diversi per informazioni diverse.

Un buon sistema potrebbe essere usare sql2005 standard e salvare in modalità read only il db storico su una partizione ntfs compressa.

Se ti procuri sql ti "metti comodo" e risolvi il problema per i futuri sviluppi del tuo lavoro.

Inoltre se il tutto diventa mastodondico con sql standard puoi salire di cpu e via dicendo.

Cerca su ebay, spesso pacchetti originali da 5k dollari li trovi ad un centesimo del prezzo... misteri di internet!

Ho usato linux per convenienza visto che ho programmato tutto sotto questo os e fare il porting mi tira il culo

Faccio qualche prova poi vediamo

uMoR, prima di salvare il testo converto le parole piu' comuni con un numero preceduto dal pipe. Esempio, email = |1 e via dicendo.

Poi dopo comprimi come preferisci, ma stop e poison word se le converti a monte non ti sbagli.

Se poi fai anche il porting da mysql a sql vedrai che non te ne penti, personalmente sono per il code free, ma sql microsoft e' e rimarra' sempre sql.

Ci sono poche cose per un seo che vale veramente la pena comprare, ne cito 3: sql, search and replace della funduc, photoshop e xenu perche' e' gratis.

Uso linux+apache da sempre, ma quando si deve lavorare sul serio passo a solaris o wow 64 e simili.

Tu che sei appassionato sai meglio di me che anche nei rally ci sono le classifiche per categoria.

Nel nostro lavoro e' lo stesso, devi decidere prima in che categoria competere.

Secondo me l'approccio è da cambiare radicalmente
Occorre prendere una pagina, "leggerla" e inserire ogni parola in un "dizionario" a cui va collegato un indice principale. Poi quando salvi la pagina appena "letta" sostituisci tutte le parole con i rispettivi indici (così hai compressione massima).
Tra l'altro quando vai a cercare quanti siti incorpornano la parola devi solo cercare un numero e non un alfanumerico.
Quando poi vorrai valorizzare le diverse parole per dargli significato "singolare, plurale, ecc ecc" avrai un secondo indice così che se qualcuno cerna "cane pastore" potrai presentargli anche "cani pastore" e tutte le varianti.
Questa è la via giusta per indicizzare qualcosa, ma esistono diversi motori di indicizzazione free su sourceforge già pronti con il sorgente da guardare/modificare.

Tu che sei appassionato sai meglio di me che anche nei rally ci sono le classifiche per categoria.

Bella osservazione, però un'altra volta mi hai detto che è una questione di sponsor, senza i dindi non puoi correre in wrc. Ecco per me ora è così, quindi se c'è qualche sponsor interessato si faccia avanti

Secondo me l'approccio è da cambiare radicalmente

Non ho scritto che sto facendo un motore di ricerca..