Scusate se rispondo a me stesso,
ma leggendo bene l'official reference manual di mysql ho trovato da solo la risposta alla mia domanda e la posto qui perchè magari potrebbe essere utile a qualche altro utente alle prime armi come me.
La query da usare nel caso esposto sopra per risolvere il problema è semplicissima:
SELECT HOUR(ora), AVG(utenti) FROM user_stats GROUP BY HOUR(ora)
Dove seleziono i record per la sola ***ora ***e li raggruppo per **ora **facendo la media utenti.
Grazie comunque a tutti, Elaidon.