Ciao,
oltre alle caratteristiche del VPS e alla connettività, bisogna fare anche molta attenzione alla configurazione dei demoni: sull'hosting condiviso potrebbero essere ottimizzate e quindi fornire dei tempi di risposta nettamente inferiori al VPS.
Purtroppo non basta prendere un VPS preconfigurato e metterci su dei siti.
Verifica se la cache e la compressione sono attivi sul webserver, controlla se la configurazione di MySQL è ottimizzata, etc.