Purtroppo non demordo così facilmente...e ho cominciato a fare tutte le combinazioni possibili e ho trovato cosa fa sballare tutto.
Ho acquistato un plugin che si chiama WPTouch, per vedere in stile App il sito.
Consigliano di effettuare una configurazione su Wp Super Cache...ovvero andare ad inserire gli user agent per visualizzare correttamente dai dispositivi mobile.
Praticamente seguendo la loro indicazione si passa da 53 ms a 9.000ms!
INCREDIBILE!!!!! Sopratutto perchè senza quella configurazione il plugin funziona CORRETTAMENTE!!