Ciao, con php e js riesci a gestire il tutto.
Il tuo obiettivo è far si che, se un'immagine è 800x600, il popup si apra con dimensioni 800x600.
Bene, allora tramite php prendi le dimensioni dell'immagine:
http://it.php.net/getimagesize
Poi quando apri il popup al posto di una dimensione fissa (... 800,600, ...) metterai il php (... <? echo $lungo;?>,<? echo $alto;?> ...)
Che ne dici?