Bene con un pò di pazienza penso abbia risolto. Posto quello che ho fatto se qualcun'altro ha il mio stesso problema.
Ho creato un nuovo record A chiamato mail con l'ip del vps, e il record mx con mail.miosito.it e come Reverse DNS ho messo mail.miosito.it
Tramite ISPconfig ho creato e configurato l'utente.
Configurando Thunderbird con mail.miosito.it sia per pop che smtp riesco ad inviare e ricevere le mail.
Unico dubbio che mi è sorto è se modificare e cosa mettere al record mx secondario...