@sabaxaba ha detto in Matomo - importazione dati da Google Analytics - help!:

Riguardo al resto, se fosse un problema di data retention non dovremmo avere i dati nemmeno nelle viste ufficiali di GA o sbaglio?

Eh, lì dipende... perché GA distingue tra dato aggregato (pre-elaborato) e dato disaggregato.

Tendenzialmente il dato nei grafici è sempre aggregato e quello nelle tabelle è disaggregato.

Però se applichi dei segmenti anche quello dei grafici diventa disaggregato (e infatti a quel punto scatta la quota di campionamento).

E a memoria mi pare di ricordare che il dato delle API è sempre campionato, quindi può essere che non tutto venga estratto correttamente.

Per fare la prova del 9 comunque basterebbe provare a fare un import esattamente a ridosso del termine di scadenza della data retention in GA.

@kal
Provo sia questo che a vedere i dati con Data Studio

Per quello che ne so anche Data Studio utilizza le API, quindi seguendo il tuo ragionamento non dovrei vederli nemmeno in data studio

@sabaxaba allora

Riguardo a import su matomo di intervallo a cavallo della data retention devo aspettare domani (raggiunto il limite oggi)

Riguardo invece data studio i dati ci sono anche su intervalli temporali molto più vecchi della data retention

Continuo a non capire

@sabaxaba ha detto in Matomo - importazione dati da Google Analytics - help!:

Per quello che ne so anche Data Studio utilizza le API, quindi seguendo il tuo ragionamento non dovrei vederli nemmeno in data studio

Hai perfettamente ragione.

Però non so spiegarmelo altrimenti.

Ti confermo che ci sono dei casi dove non vengono importati tutti i dati... ma così come invece ci sono dei casi in cui problemi non ce ne sono e fila tutto liscio.

Dato che lo script è lo stesso (Matomo + Plugin GA Import), il problema sta nell'interfaccia (API) o nel repository (GA).

Potrebbe anche essere un problema combinato, nel senso che per qualche motivo le API estraggono un dato parziale... che viene successivamente rielaborato lato Matomo nel momento in cui viene salvato a DB, e questo fa sì che noi vediamo solo alcuni dati mancanti, mentre altri ci sono.

@kal va segnalato come bug
Procedo

Aggiornamento:

https://forum.matomo.org/t/import-google-analytics-bug/47230
https://github.com/matomo-org/plugin-GoogleAnalyticsImporter/issues/265

Ciao @kal

A quanto pare hanno risposto, ma non sono convinto ed ho ribatutto.

Si parla di dati mancanti oltre una certa data via API
Ma non è vero.
1 perchè su data studio ci sono
2) usando https://ga-dev-tools.web.app/query-explorer/ i dati ci sono

Capito il problema. Salta tutto nel momento in cui nella query API ci metti ga:users.

E il plugin di Matomo mette ga:users come metrica, ma evidentemente non in tutte le query... e per questo hai un risultato parziale.

@sabaxaba ha detto in Matomo - importazione dati da Google Analytics - help!:

Si parla di dati mancanti oltre una certa data via API

Scusa perdonami ma qua ho riso molto:

But it's not a bee problem

@kal ha detto in Matomo - importazione dati da Google Analytics - help!:

But it's not a bee problem
si hai ragione... il traduttore maledetto e la pigrizia di non rileggere.
Non ho un inglese così fluido da poter scrivere di getto. quindi uso il traduttore e poi rileggo e correggo le follie... quando non lo faccio succedono ste follie correggo

Comunque lo dico a margine, adoro la web analytics perché (a differenza della SEO) puoi sempre dire con certezza:

@kal ha detto in Matomo - importazione dati da Google Analytics - help!:

Capito il problema.

Basta solo dedicarci la giusta dose di tempo e neuroni.

@kal Si, ci siamo spaccati le b... a trovarlo. E viste le discussioni anche vecchie su github il problema era stato comunque mal interpretato. Spero che la nostra segnalazione porti alla correzzione del problema.

@sabaxaba ha detto in Matomo - importazione dati da Google Analytics - help!:

Spero che la nostra segnalazione porti alla correzzione del problema.

Ho già dato il mio suggerimento su GithHub

Ovvero:

• un'opzione per NON importare la metrica ga:users
• in alternativa, ancora meglio, un'opzione per indicare la durata della data retention su GA, in modo tale che il plugin non inserisca la metrica ga:users quando esporta un periodo precedente

Per la cronaca: giustamente dicono... fai tu la modifica e manda Pull Request che la integriamo. Qua serve qualcuno che sappia mettere le mani sul codice!

@kal Serve il tempo oltre che le capacità di programmazione. Speriamo che qualcuno possa farlo.

@kal uuu a quando pare è già in corso di sviluppo, qualcuno ci era già arrivato

@sabaxaba ha detto in Matomo - importazione dati da Google Analytics - help!:

@kal uuu a quando pare è già in corso di sviluppo, qualcuno ci era già arrivato

Credo che quei pezzi di codice siano già lì nella versione attuale. Se ho capito bene c'è un meccanismo che leva le metriche problematiche se quando viene fatta una query si riceve un risultato vuoto.

E probabilmente è proprio quello che causa l'export parziale dei dati che abbiamo notato.

Quindi non è un bug... è una feature!

Per quanto mi riguarda, tanto basta... è una cosa che puoi documentare.

E Matomo ha le annotazioni (mentre GA4 ancora non le ha, ricordiamolo )

@kal Si avevo letto velocemente il codice ed ho notato anch'io che era presente solo la gestione dell'errore

Un vero peccato non poter importare i dati storici. speriamo che la discussione che abbiamo generato porti in futuro ad una qualche soluzione

@sabaxaba ha detto in Matomo - importazione dati da Google Analytics - help!:

Un vero peccato non poter importare i dati storici. speriamo che la discussione che abbiamo generato porti in futuro ad una qualche soluzione

Eh, qua bisognerebbe vedere come vengono fatte le query, non è una cosa sicuramente immediata.

Io però la vedo comunque dal lato positivo: se c'è un limite per la data retention su GA, è giusto aspettarsi che sia rispettato. Probabilmente in ottica di dato "pulito" sarebbe bene fare l'import dei dati solo entro il limite della data retention.

O in alternativa, avvisare che per date precedenti i dati non saranno completi.

Una cosa da tenere presente nel momento in cui come consulente ti offri di gestire l'import dei dati come servizio.

Per me tanto basta, ad essere sincero. La perfezione non esiste e non esisterà mai!

@kal Si ma qui c'è un errore di fondo.

O i dati di per sessione in qualche modo non sono attinenti alla data retention ed in questo caso sarebbe il caso di poterli importare visto che i siti di referer sono comunque un dato storico interessante, o se riguardano la data retention google comunque sta commettendo un illecito a non cancellarli

Sarebbe intessante capire cosa fa con GA4

@sabaxaba secondo me è proprio un problema di come vengono fatte le query nel plugin.

Se noti ad esempio anche ga:hits viene considerata una metrica "problematica".

Solo che ga:hits è una metrica base!

Se viene esclusa in blocco dalle query, ci sta che alcune cose saltino. Evidentemente i siti referral soffrono di questo problema...

Immagina lo scenario:

• query API che include gli utenti, fallisce
• il plugin esclude le metriche "problematiche"
• viene rifatta la query senza ga:users e ga:hits
• escono fuori dati parziali

Insomma: non è GA che tiene o non tiene il dato. È il modo in cui è costruita la query nel plugin di Matomo a non essere in grado di riempire tutte le caselle possibili.

Posto che sicuramente è possibile ottenere qualche dato in più cambiando la logica del plugin... è una cosa che va oltre le possibilità di una discussione in forum. Servono sviluppatori che sposino la cosa e disposti a metterci del tempo per la gloria e per la community.

e va be
Arieccoci qui di nuovo

Con l'aggiornamento all'ultima versione del plug in qualcosa si è rotto

Inizialmente ho pensato.. guarda che bello, non inizia più ad importare dalla prima data disponibile, va a ritroso.
Poi dopo 2/3 giorni di test purtroppo mi sono reso conto che ricomincia sempre dall'ultimo giorno disponibile e quindi non va mai avanti

Mi confermate che sta facendo la stessa cosa a voi?

p.s.

Mi viene il dubbio che non avendo impostato una end date, trovando una data nuova a fine intervallo non importato ricominci da li e poi riparta a ritroso da li. Ora provo ad impostare la data di fine e domani vi dico