Ciao JWill,
Innanzitutto ti consiglio di utilizzare P3plugin per controllare il tempo di caricamento dei tuoi componenti, inoltre non ti demoralizzare.. Non mi è mai capitate di attivare un componente come Total Cache ed avere il sito perfetto. Testa, indica che codici non comprimere e cacha anche con. Htaccess.
Per quanto riguarda il Javascript
prova altri plugin.

Michele