Proprio la lunghezza della barretta verde fa pensare che possa esserci un punto critico nel database.

Probabilmente la configurazione Mysql è quella di default, che non è errata ma in genere può essere ottimizzata con miglioramenti anche vistosi nelle prestazioni. La trovi nel file /etc/my.cnf (puoi chiederlo al fornitore del servizio, se non hai accesso diretto al server), se il file di configurazione appare scarno e non ci sono parametri del tipo:
key_buffer_size = .....
query_cache_limit = ....
query_cache_size = .....
significa che mysql lavora nella configurazione di default., e se il precedente server era invece ottimizzato questo potrebbe spiegare la differenza.

Anche il webserver Apache può essere ottimizzato (con interventi su /etc/httpd/conf/httpd.conf) ma il primo indiziato rimane il database.

Allora, ho caricato una pagina html pura senza passare ne da php ne da mysql, ed il tempo di caricamento e sempre più alto, confrontato con altri siti.

Quindi io escluderei problemi con apache o il database.

Puoi postare l'url della pagina html pura?

Certo:

villaggiopuglia.it/temp.html

cosa ne dici?

Pingdom indica un load time di 160 ms, la stessa pagina caricata su un mio sito dà un load time di 100 ms

Secondo te è un valore troppo elevato? Con che cosa l'hai confrontato?

Ho confrontato la pagina con una identica messa su di un server di un mio collega, il valore di download da quel serve è di circa 50 ms.

Ho fatto alcuni test sul mio sito per verificare l'influenza del webserver sul load time di una pagina pura html praticamente vuota (identica alla tua), con questi risultati:

webserver apache con configurazione di default: 160 ms;
webserver apache con configurazione ottimizzata: 130 ms;
webserver lighttpd: 90 ms.

Come vedi, il webserver incide sui tempi di caricamento anche di pagine html pure.

Interessante il server del collega, vedi tu se puoi fornire qualche dato.

Mi puoi inviare i files ottimizzati in privato?

Faccio dei test anch'io il locale e nel caso li faccio caricare sul server per fare dei test.

A dire il vero adesso uso solo più lighttpd (per ovvie ragioni, dati i tempi di risposta).
Per fare il test ho riesumato un file di configurazione apache (/etc/httpd/conf/httpd.conf) ormai inutilizzato da tempo dove avevo modificato i parametri con i valori riportati qui sotto (il cui significato è documentato in Apache MPM Common Directives), prima di passare appunto a lighttpd in via definitiva senza approfondire oltre l'ottimizzazione di apache.

Il fatto che questi parametri migliorino le prestazioni su un Vps con 256 kb di ram dimostra che possono incidere sui tempi di caricamento ma non significa affatto che vadano bene anche per un server dedicato con un mare di Ram.
Poi dipende anche dal volume e dal tipo di traffico, probabilmente per te sarebbe più utile conoscere i dati utilizzati sul server del tuo collega.

Comunque i parametri che avevo modificato sono questi:
StartServers 2
MinSpareServers 3
MaxSpareServers 4
ServerLimit 128
MaxClients 128
MaxRequestsPerChild 2000,
valori che nella configurazione di default sono 8, 5, 20, 256, 256, 4000.

Ed il Webmaster Tools cosa dice?