bene, allora si prova con MySQL 5.. sperando in bene...

ma avete presente quanto è grosso il database di wikipedia?
sapete che cosa usato? mysql...

Se è per quello, anche Yahoo! usa MySQL (non per il motore di ricerca, ma per diverse sezioni del portale, come ad es. Yahoo! Finance).

Case study qui [PDF]: http://www.mysql.com/why-mysql/case-studies/mysql-yahoo-casestudy.pdf

la release 3 di MySql crea qualche problema con carichi molto elevati, però aggiornarsi alla 5 non costa molto......

consiglio di dare uno sguardo alla versione OpenSource di Oracle http://www.oracle.com/technology/software/products/berkeley-db/index.html

22 tabelle, 15 milioni di record, 2,3 Gb nessun problema con Mysql

Byez

Io mi concentrerei sulla parte concettuale del lavoro, astraendo dalla implementazione sul tal DBMS.
Sul fatto dei carichi e del relativo tempo di risposta, non mi preoccuperei se lo scopo del progetto non è quello di fare la concorrenza a google e compagni, ma invece un modo costruttivo e per capire e mettere le mani dal vero su certe questioni.

certamente è più importante sviluppare gli algoritmi nel modo migliore possibile....

tuttavia in questo settore occorrono molti dati e molti dati significano per forza una grande mole di lavoro per i computer e quindi vale la pena soffermarsi un attimo a riflettere sulle performance dei vari DBMS

Ciao a tutti, sono un nuovo iscritto,
complimenti per il vostro progetto,
tranquilli per il mysql, ho un db (mysql 5)con più di 15 milioni di record, di circa 20gb con tantissime query al minuto (insert e select giorno e notte) e gira da 2 anni che è una meraviglia su un semplice athlon 2.6ghz e 512 mb.

Ciao e auguri di buone feste

@faster2b said:

Ciao a tutti, sono un nuovo iscritto,
complimenti per il vostro progetto,
tranquilli per il mysql, ho un db (mysql 5)con più di 15 milioni di record, di circa 20gb con tantissime query al minuto (insert e select giorno e notte) e gira da 2 anni che è una meraviglia su un semplice athlon 2.6ghz e 512 mb.

Ciao e auguri di buone feste

auguri di buone feste anche a te..

Cmq in un motore di ricerca non ci saranno 15 milioni di record, ma almeno 1000 volte di più... Però questo vale solo per il motore di ricerca vero e proprio. Nel caso del motore di ricerca interno il mysql è OK..

@Andriy said:

Certo che sono d'accordo.:D:);)
Allora lasciamo stare PostgreSQL che non mi piace proprio.. Lo avevo su uno dei miei server e ti assicuro che non conviene... Oltre ad essere anche più lento di MySQL, non è stabile, quando si arrivano a una centinaia di ricchieste contemporaee quest'ultimo crasha per la maggior parte dei casi.. Infatti anche tutti i provider che all'inizio lo utilizzavano adesso lo hanno tolto da mezzo per questa causa dell'instabilità...

Come ti hanno gia' risposto anche altri postgresql non ha alcun problema di stabilita'. Se li ha avuti in passato (e non me ne ricordo onestamente) dalla mia esperienza direi che li ha abbondantemente superati da secoli

Guarda non ho nulla da dire su MySQL anche perchè lo conoscete ormai tutti, però da quello che leggo sui diversi forum per la maggior parte gli script vanno in timeout quando si ha più di 500-800 mila record nel database.. Poi visto che non sono mai arrivato a tanti record non posso dire con certezza che questa cosa è vera, può darsi che loro hanno configurato male MySQL o Apache, o creato script in un modo incorretto...

Non ho mai visto un timeout derivante da mysql, al 99% si tratta di configurazione errate di apache, php o mysql, ma non direi proprio che si tratti di mysql che supporta senza alcun problema milioni e milioni di record.

Oracle invece più stabile e veloce di MySQL, almeno quello che ho letto sui diversi siti..

Oracle ha alcune funzionalita' in piu' rispetto a mysql e probabilmente per alcune cose e' piu' indicato ma per un progetto come questo dubito abbia qualche reale vantaggio passare ad un db che costa qualche migliaia di euro e che e' decisamente piu' complesso.

@Andriy said:

auguri di buone feste anche a te..

Cmq in un motore di ricerca non ci saranno 15 milioni di record, ma almeno 1000 volte di più... Però questo vale solo per il motore di ricerca vero e proprio. Nel caso del motore di ricerca interno il mysql è OK..

Ciao,
ho letto un po di più sul progetto, certo, il mysql può essere usato per il motore di ricerca interno (anche se personalmente per tanti motivi preferisco postgresql),
ma per realizzare un motore di ricerca completo non è pensabile usare ne mysql ne php.

@faster2b said:

Ciao,
ho letto un po di più sul progetto, certo, il mysql può essere usato per il motore di ricerca interno (anche se personalmente per tanti motivi preferisco postgresql),
ma per realizzare un motore di ricerca completo non è pensabile usare ne mysql ne php.

Nel caso di un motore di ricerca normale, io dirrei che il php è ottimo per quanto riguarda il recupero dei risultati.. Invece per lo spider non se ne parla proprio, si deve fare in C++ per avere dei buoni risultati...

Ciao a tutti,
io invece ho un problema di questo tipo:
Database MySql 5 su RedHat Enterprise con all'interno varie tabelle ma una avente 1.000.000 di records circa e di 170 Mb e da quando si sono raggiunti questi valori il Db è quasi completamente fermo. Dove posso mettere le mani per ottimizzare le prestazioni di MySql? Grazie sono nel panico!!

Prova ad utilizzare gli indici.

Il Db è già indicizzato... e nelle qry in molti casi recupero i dati con il fetch_row... Ma è sempre lentissimo... qualche dritta per i file di configurazione?

http://it2.php.net/manual/it/function.mysql-pconnect.php
http://it2.php.net/manual/it/function.mysql-unbuffered-query.php
http://it2.php.net/manual/it/function.mysql-free-result.php

Poi dipende dalla tabella, da quello che cerchi e da come hai strutturato gli indici...

In riferimento al problema di lentezza del Db MySql è possibile che sia invece la configurazione di Apache a madare in crisi la macchina? Avete suggerimenti?

... mi spiego meglio, la configurazione di MySql è spinta al massimo e lanciando il top della macchina i processi di mysql non si vedono nemmeno ma di query ne vengono eseguite centinaia ogni minuto. Dal top, invece, si vedono numerosissimi processi httpd... sarà Apache il problema?

@SSD said:

... mi spiego meglio, la configurazione di MySql è spinta al massimo e lanciando il top della macchina i processi di mysql non si vedono nemmeno ma di query ne vengono eseguite centinaia ogni minuto. Dal top, invece, si vedono numerosissimi processi httpd... sarà Apache il problema?

il tuning di apache + mysql dipende molto dall'hardware e dalle connessioni che si ricevono.
e cmq mysql non lo vedrai con top, finché non ordini i dati in base alla memoria usata (pigia M e lo vedrai tra i primi).
in ogni caso, temo siamo tremendamente OT. se hai bisogno di aiuto, ti consiglio di aprire un thread ([url=http://www.giorgiotave.it/forum/linux-e-open-source/]qui?) riportando un po' di dati di configurazione di apache e mysql, un output di top e di netstat -nat|grep :80|grep ESTA|wc -l
e ovviamente, anche se usi connect o pconnect.
anche l'output di mytop sarebbe utile.
cosí, tanto per iniziare a farci un'idea.

Apache è un webserver molto diffuso ed anche abbastanza rapido. Ma quando si tratta di pura velocità c'è solo Zeus. Come saprete Zeus costa una cifra (ne vale tutta), ma in alternativa se volete un server HTTP molto più rapido di Apache e che costi nulla ecco: http://www.lighttpd.net (le sue prestazioni tendono a quelle di Zeus).

Per quanto riguarda Mysql non è la soluzione ideale per questi progetti, ma dato l'ambito di impiego non vie è nulla di più indicabile. Per i problemi sopra indicati ci sarebbero dozzine di spiegazioni. Basterebbe leggere la relativa manualistica.

Per quanto attiene la questione del linguaggio Php, è chiaro a tutti che si tratti di una forzatura pazzesca, ma inquandrando il suo utilizzo con la motivazione offerta da giorgio, credo che non ci sia nulla da obiettare. Per questioni legate alle performance c'è poco da scegliere: c, c++, phyton.

Anche l'architettura è fondamentale. L'applicazione deve essere distribuita, scalabile e modulare? Si vuole operare in ambienti di multiprogrammazione, multielaborazione?

===

Già che mi trovo: esiste una documentazione organica della architettura di progetto che sia visionabile? Mi piacerebbe sbirciarla per capire se possa rendermi utile.