A/B testing nella SEO

fabioantichi

A/B testing nella SEO

un articolo che ho trovato molto curioso
http://www.blindfiveyearold.com/seo-a-b-testing

kal

@fabioantichi ottimo articolo e mi spingono dire che queste considerazioni non valgono solo per la SEO, ma proprio per gli A/B test in generale.

Il web è un ambiente dinamico con molte variabili fuori dal nostro controllo.

Più variabili che rischiano di sballare il campione, più è probabile che il test dia un falso negativo o positivo.

E questo sempre al netto di tutti i possibili bias cognitivi sempre in agguato.

fabioantichi

@kal assolutamente mi piace degli esperimenti su ads che ti da la valenza significativa per evitare l'influenza di fattori esterni, e in ogni caso servono numeri o la variabilità del sistema può drogare il dato falsandolo

kal

@fabioantichi ha detto in A/B testing nella SEO:

per evitare l'influenza di fattori esterni

Il mio punto è che fattori esterni non è che si possano davvero eliminare. E' una pia illusione, a far bene dovresti fare A/B test solo in laboratorio e una campagna Ads non è un laboratorio.

Stagionalità, mode, differenze nel comportamento a seconda delle fasce orarie e del dispositivo, differenze regionali o di mercato... è tutta roba che agisce contemporaneamente e genera un caos di fondo che poi in ultima analisi mette a repentaglio la bontà dell'analisi statistica.

fabioantichi

Verissimo

luqweb

@kal ha detto in A/B testing nella SEO:

@fabioantichi ha detto in A/B testing nella SEO:

per evitare l'influenza di fattori esterni

Il mio punto è che fattori esterni non è che si possano davvero eliminare. E' una pia illusione, a far bene dovresti fare A/B test solo in laboratorio e una campagna Ads non è un laboratorio.

Stagionalità, mode, differenze nel comportamento a seconda delle fasce orarie e del dispositivo, differenze regionali o di mercato... è tutta roba che agisce contemporaneamente e genera un caos di fondo che poi in ultima analisi mette a repentaglio la bontà dell'analisi statistica.

Non ho capito troppo quest'ultimo punto.

Cioè in un A/B testing stai testando due versioni differenti nello stesso identico momento.
In che modo la stagionalità impatta? Cioè se sei "fuori stagione" questo sarà vero sia per il test A che per il test B e il risultato, nei limiti della variabilità statistica, dovrebbe essere corretto, no?

kal

@luqweb ha detto in A/B testing nella SEO:

Non ho capito troppo quest'ultimo punto.
Cioè in un A/B testing stai testando due versioni differenti nello stesso identico momento.

Eh magari. Un A/B test dura giorni.

Potresti avere la variante A che funziona da dio nel weekend, mentre la variante B durante la settimana.

Oppure la variante A che funziona da dio quando è bel tempo e la variante B quando piove.

Etc.

Ogni variabile di "squilibrio" nel campionamento rischia di mandare a monte l'analisi statistica.

Ne aggiungo un'altra: se fai A/B test su una landing page con la pubblicità... Non stai testando per il pubblico che non clicca sulla pubblicità.

E potrebbero esserci differenze anche qua, ad esempio se uno usa un adblocker...

Insomma, è un campo minato.

luqweb

Capisco quello che intendi, però secondo me il 90% delle volte che un test A/B fallisce è:

Si sono testate troppe cose alla volta
Non si è aspettata la significatività statistica

Il primo caso è abbastanza chiaro. Il secondo, per me, viene troppo spesso sottovalutato.
Vengo giusto da un test che dopo 2 giorni dava una variante in vantaggio all'80% sulla seconda. Dopo 6gg, sta al 40%.

A questo ovviamente va accompagnata un'analisi delle idee da validare, possibili influenze sull'esperimento etc...

Cioè la vedo un po' come valutare un pokerista.
Fagli fare un torneo e potrà uscire ultimo quando invece è il migliore dei partecipanti.
Fagliene fare 10mila e potrai cominciare a dare un giudizio sulle sue qualità (a prescindere dagli avversari, dalle carte e da come si è svegliato quel giorno).
La varianza la si può abbattere solo accumulando molti tornei (o nel nostro caso molti dati), altrimenti è come giocare al gratta e vinci.

Magari sono troppo ottimista