Quello che considererei io sono i tempi che hai in Google Analytics in primis guardando i tempi di risposta del server, il tempo al documento interattivo.
Oltre a questo puoi osservare anche su WebPagetest il valore del TTFB, SpeedIndex e valutare bene il tempo di rendering della parte visibile tramite la timeline view.
Per quanto riguarda invece search console i valori non sono necessariamente indicativi perché non includono solamente Googlebot ricerca, ma anche altri Googlebot come Ads, Immagini etc etc...
Ti conviene prendere i log del server con attivo il tracciamento dei tempi di risposta e vedere cosa dice in concomitanza di Googlebot. Li avrai una visione reale dei tempi di risposta che hai nei confronti di Google. Il mio consiglio è di stare sicuramente sotto ai 500ms (che è già tanto, ma dipende come dicevo prima se sei su host condiviso oppure no).
Dimenticando però i motori di ricerca il mio consiglio è di avere un tempo di "rendering e fruibilità" della parte importanti del sito che sia di almeno 1 secondo minore del tuo più acerrimo competitor.
Funziona così
Devi anche considerare il settore in cui sei. Nel mondo finanziario ad esempio leggevo proprio ieri le aspettative degli utenti che in sostanza non differiscono tra mobile, desktop e tablet in pratica https://www.akamai.com/us/en/multimedia/documents/infographic/millennials-preparing-for-the-next-generation-of-financial-services-infographic.pdf
Ovviamente nel fare le valutazioni devi anche considerare i tempi da mobile e con connessioni del mondo reale...per questo il metodo migliore è RUM (Real User Monitoring) e non un singolo test sintetico su WebPageTest in una sola delle n possibili casistiche.
Le Web Performance sono sicuramente una materia complessa e ridurlo a dire se un "valore" va bene in assoluto è lo stesso errore che commetteremmo dicendo che la SEO è "mettere un title con le parole chiave dentro". Non ha senso.
In primis bisogna stabilire quali sono i tuoi obiettivi di business e poi valutare i dati di performance per capire se influiscono sui tuoi obiettivi di business.
Se hai un ecommerce e con strumenti come mPulse riesci a evidenziare che ad esempio a tempi di caricamento inferiori corrispondono conversioni maggiori allora sì che avrai voglia di investire in WPO.
Sembrerà una non risposta, ma dobbiamo smetterla secondo me di considerare la SEO, l'advertise, le WPO, il Design e tutto quello che ruota attorno ad un sito come qualcosa che va fatto per compiacere qualcosa o qualcuno.
Tutto deve essere legato ad obiettivi di Business ben definiti e misurabili.