Personalmente non sono d'accordo, reputo quest'informazione molto preziosa perchè calcolata su una base utenti più ampia del singolo PC, in grado quindi di fornire una media dei tempi di caricamento su ogni tipo di sistema (SO, browser, ...) e connessione.
Detto questo, non pensate che i picchi possano essere dovuti a problemi del server (dovuti per esempio a picchi di traffico, oppure più semplicemente problemi di hosting)?
Posso chiederti quanti visitatori mediamente fa al giorno il sito? Solo italiani oppure da tutto il mondo?