Beh, senza usare tecnicismi e semplificando molto, transitional è appunto di transizione tra le raccomandazioni vecchie e quelle nuove, quindi è di "bocca buona" ed al contrario dello strict.
Su molti errori di sintassi o sintassi obsolete viene chiuso un occhio.
Xhtml è invece la versione html di xml, ovvero per farla breve anche questa, la sintassi deve essere ancora più rigida e pulita, i tag devono essere "ben formati" (ad esempio elementi tipo img devono avere lo slah di chiusura) e non si possono annidare male i comandi, la struttura si divide dal layout (css) i tag sono minuscoli, gli img devono avere l'alt, alcuni elementi sono deprecati, ecc.. ecc...
Da xhtml 1.1 c'è solo strict ed aggiunge la modularizzazione degli elementi.