Concordo che sia un'opzione rischiosa e da usare con attenzione, non per niente abbiamo inserito in MailUp anche un avviso nel caso il messaggio superi un peso soglia, in modo che l'utente non sia portato a fare errori grossolani. Nel caso della nostra newsletter ad esempio, visto che spesso contiene animazioni, risulterebbe un messaggio eccessivamente pesante. Il contenuto inoltre è essenzialmente informativo, quindi il fatto che ci sia un loghino oppure no, l'invio con immagini embedded non cambia i risultati.

Comunque sugli A/B test nel nostro caso vengono fatti esattamente in parallelo, con lo stesso messaggio inviato nelle due modalità, quindi se la reputazione dovesse peggiorare (cosa comunque a mio avviso non realistica) entrambe le versioni ne sarebbero affette.

Il mio prof. di Statistica scherzava dicendo che "la statistica è l'arte di provare una cosa e il suo contrario", mi sembra che tu sia dello stesso parere
Ma fino a che non ci sono metodi migliori, se il campione è statisticamente significativo non vedo molte altre alternative per prendere decisioni.

Sulla questione reazione temporale immediata dei filtri antispam proprio in questi giorni sto verificando che Hotmail fa qualcosa di questo genere e una singola email può pregiudicare la consegna di quella inviata pochi secondi dopo senza che nemmeno ci sia stato accesso alla casella (quindi microsoft non può aver raccolto statistiche sul fatto che sia sta aperta o meno).

Sì, sulla statistica in generale la penso come il tuo prof , ma ritengo che l'AB testing sia un ottimo strumento per il WEB e che invece sia abusato e mal utilizzato il 90% delle volte che lo si usa nell'email. Nel web è particolarmente utile quando si lavora con visitatori ai quali devi fare una "first impression". Nell'email questo non è mai così in quanto, a meno che non sei uno spammer, tu hai già una relazione con i tuoi visitatori ed è una relazione che devi coltivare, non devi quindi fare una "first impression", quella l'hai già fatta quando hanno deciso di lasciarti l'email. Nell'email è molto più facile sbagliare.

Visto che l'AB test dell'email lo fai o sull'open rate o sul click rate, stai prendendo una decisione su una parte PICCOLISSIMA del processo di conversione in quanto non prendi in considerazione PER NULLA le conversioni, il ROI, e l'effetto persistente che lasci nel tuo destinatario. Inoltre non riesci in alcun modo a misurare quanto dell'effetto AB sia dovuto all'email stessa e quanto invece è dovuta al passato. Ad esempio: se tutti i giorni invio una email con titolo "newsletter" e un bel giorno decido di fare AB test tra "newsletter" e "notizie di oggi" è probabile che "notizie di oggi" vinca l'AB test. Se invece inviavo sempre "notizie di oggi" e faccio lo stesso AB test allora vincerà "newsletter", ovvero vincerà il "cambiamento", cosa che ha senso, ma che è una carta che puoi giocarti una sola volta. Tutte queste cose sono da RAGIONARE e un automatismo come l'AB test non ti impedisce di fare la scelta opposta a quella migliore.

Aggiungo poi una questione numerica: l'AB test fatto su 2000 persone secondo me non ha numeri sufficientemente alti per essere statisticamente rilevante e quindi sbagliato per definizione, se invece hai 1 milione di contatti secondo me se fai una singola email per tutti con due varianti è probabile che tu stia già commettendo un errore in partenza in quanto significa che stai sparando nel mucchio senza aver fatto alcun tipo di segmentazione. Se fai correttamente segmentazione non dovresti mai inviare la stessa email identica a più di qualche migliaio di utenti. Meglio spendere il proprio tempo a segmentare piuttosto che fare AB testing, nell'email.

L'AB testing è uno strumento potentissimo, come lo sono gli aeroplani, però fortunatamente per guidare gli aeroplani servono licenze perchè se chiunque potesse mettersi alla guida di un aereo senza conoscere tutti i danni che può causare con un errore saremmo messi molto male.

Esattamente come per le immagini embedded credo che sia una funzione che dovrebbe essere riservata ad una minoranza e che siano pochissimi, in percentuale, gli utenti che possono utilizzarli correttamente mentre che per la maggioranza siano più spesso causa di problemi che altro.

Concordo che che ci possono essere casi in cui l'A/B test fornisce risultati fuorvianti, ma tra chi spedisce 2.000 email e chi ne spedisce 1.000.000, c'è tutto un mondo!

Lato nostro abbiamo clienti piuttosto evoluti (ad esempio americani) che fanno A/B test non basandosi su criteri legati all'open-rate o al CTR, ma sul fatturato. Abbiamo dovuto fare una modifica a MailUp per andare incontro a quest'esigenza. Quindi nel loro caso A/B test si traduce direttamente in maggiori ricavi.
Senza arrivare a questi casi estremi, l'A/B test sull'oggetto o su "particolari" come l'head line, rimane la cosa più semplice e meno "rischiosa", se spedisco ad almeno 10.000 indirizzi con un open rate medio. Qualche esempio che può insipirare:

https://whichtestwon.com/?s=email

Farne uno sporadicamente può portare ad errori di valutazione, ma se diventa un esercizio fatto con costanza e attenzione, credo sia una tecnica che può insegnare molto più di tanti libri

Secondo me ci vorrebbe un bel blog post di approfondimento sull'argomento

Ma allora non è più AB testing email "come lo intendono tutti" ovvero che invii all'10% (o simili) la versione A e ad altro 10% la versione B e subito a ruota spedisci la migliore tra A e B al rimanente 80%: per fare AB testing sui ricavi devi fare una operazione con un respiro molto più ampio. A quel punto possiamo parlare di un AB testing che potrebbe riguardare l'intero rapporto tra te e il tuo iscritto e quindi tutto il flusso di email. Di fatto non c'entra nulla con quello che si fa con gli strumenti di AB testing integrati nelle varie piattaforme.

Sono sicuro che se vai a vedere come usano l'AB testing i vostri clienti verrà fuori che la maggior parte cambia il subject e basta fa A/B sul 10% e poi stabilisce in base all'openrate quale versione mandare agli altri: questo non va a prendere in considerazione i ricavi e SECONDO ME la maggior parte delle volte fa fare scelte sbagliate (per tutti i motivi che ho già elencato). Secondo me stabilire la propria linea di comunicazione in questo modo significa
non sapere comunicare e fare finta che l'AB testing sia la soluzione.

Parlando del mondo tra 2000 e 1.000.000 possiamo fare un po' di conti. Innanzitutto sappiamo che AB testing lo si fa "tradizionalemente" su aperture o click. Abbiamo già detto che alla maggior parte della gente dovrebbe fregare poco delle aperture e tanto delle conversioni. Senza spingermi alle conversioni mi fermo ai click, tenendo presente che se misurassi le conversioni i numeri diminuirebbero ancora renderndo ancora più difficile il test.

Diciamo che ho 50.000 contatti, faccio AB sui clic sul 20% del DB (10.000) e dopo 2 ore dall'invio voglio inviare la parte che ha dato risultati migliori.
Dopo 2 ore quanti clic posso aspettarmi? Difficilmente più dell'1% in un caso già molto sopra la media, quindi diciamo che:

• la parte A inviata a 5000 faccia 50 clic, esattamente l'1%.
• la parte B inviata ad altri 5000 fa 60 clic, ovvero il 20% in più della prima parte.
  Wow, un AB testing fantastico che mi fa guadagnare il 20% in più di quello che avevo previsto!? E invece no, perchè applicando un po' di statistica viene fuori che questa differenza non è statisticamente significativa (83% contro un 95% minimo che sarebbe auspicabile per renderla significativa).
  Quanti sono gli strumenti di AB test integrati nei prodotti di invio email che segnalano la rilevanza statistica dell'operazione fatta?
  Quanti sono gli utenti che con i numeri riportati sopra sarebbero consapevoli di essere di fronte ad un dato non statisticamente significativo? Quanti invece quelli che sceglierebbero B felici e sicuri di aver trovato il modo di guadagnare il 20% in più?

Ancora più estremo poteva essere lo scenario sopra con liste più piccole. Se la lista fosse stata da 5.000 e avessi fatto A/B su 500+500 ottenendo 5 clic sulla prima e 10 sulla seconda (il DOPPIO) ebbene sarebbe nuovamente stato statisticamente non significativo.

Al posto di fare AB testing non era forse meglio dedicare i propri sforzi nel segmentare i propri 50.000 contatti e magari anche solo inviare una email diversa in base al sesso o alla lingua o alle interazioni passate? Se sì, a quel punto ogni singola email più profilata non sarebbe più inviata a 50000 ma a molti meno, rendendo ancora più inefficace un eventuale AB test. Un buon marketer può ottenere più risultati con un AB test sparato nel mucchio o con 2 versioni pensate precisamente l'una per gli uomini e l'altra per le donne? E vorrei sperare che se gestisci migliaia di indirizzi tu abbia qualche informazione in più oltre che al sesso... ah no, dimenticavo, hai fatto AB testing e hai stabilito che era meglio non chiedere nulla ai tuoi contatti perchè così raccoglievi più iscrizioni...

Ripeto, il problema non è l'AB testing, che è solo uno strumento, il problema è che la maggior parte della gente lo usa inconsapevolmente e mediamente fa più danni che altro (tanto vale prendere decisioni tirando una moneta). Stesso discorso per le immagini embedded. E' invece sbagliato vendere l'AB testing come la soluzione a tutte le domande.. Chissà se è meglio bere acqua o benzina? Non c'è problema, fai un AB testing e lo scopri!

Se ho sbagliato qualche numero, qualche conto o qualche presupposto, vi prego di correggermi visto che sono un programmatore e non uno statistico.

e con questa possiamo dichiarare completamente OT la conversazione anche se spero interessante!

A proposito di WhichTestWon, varie volte mi sono messo a giocarci e in genere le indovino quasi tutte in quanto tutte piuttosto palesi (e non sono certo un genio del marketing, sono sempre uno sviluppatore), cose per cui non sarebbe servito un AB test, che RICORDIAMO, ad un 5/10% ha fatto vedere la versione che ha perso, quindi se avessi scelto tu direttamente quella giusta avresti ottenuto risultati migliori Ogni volta che AB testi una cosa palese stai buttando soldi.

Comunque faccio notare che in quasi tutte si parla di "confidence 99.9%", numero che richiede delle variazioni nei risultati enormi (ed infatti loro tirano sempre fuori casistiche tipo +300%, +100% e similari). nel caso di prima di 500 destinatari per variante, dovresti avere 5 clic sulla prima e 20 sulla seconda per raggiungere un tale livello di confidenza.

Ma ce ne è uno che mi ha attirato perchè era molto meno scontato degli altri e al quale, dopo aver visto il risultato, non credo nemmeno se lo vedo con i miei occhi:
https://whichtestwon.com/test/centers-for-medicare-and-medicaid-services-2015-email-list-gathering-silver-winner/
Che quella differenza in una email in un testo parte del paragrafo possa cambiare del 106% i risultati non ci crederò mai e sarei disposto a scommetere (non poco) sulla presenza di un errore nel test o semplicemente di una invenzione creata solamente per essere pubblicati sul sito.

Buonasera a tutti, spero qui di poter trovare la risposta che cerco da diverso tempo.
Sto cercando un servizio di smtp possibilmente più economico del mio attuale gestore. al momento utilizzo servicesmtp.it invio circa 50.000 mail di promozione al mese ad altrettanti indirizzi e mail. come programma per l'invio utilizzo sandblaster. fin qui tutto bene. il problema è che spendo più di 600? all'anno. guardando su internet ho trovato servizi che, per lo meno sulla carta per quello che ci capisco, offrono più o meno lo stesso numero di invii se non superiore a un prezzo che può essere inferiore anche di 500?. ho provato a sentire amici, tecnici e amici tecnici ma nessuno ha saputo darmi un consiglio.
la prima domanda è: a parità di numero di invii effettuabili in 1 mese (es. 50.000) cosa fa salire il prezzo di 500??
la seconda è: quale soluzione mi consigliate?
Ringrazio chiunque possa darmi una mano!

Quindi invii una email promozionale al mese alla tua lista di iscritti che è di 50000 destinatari, corretto?
E' la stessa email per tutti personalizzata o cosa?

Perchè usi SendBlaster + SMTP invece ad esempio di un servizio gestito completamente su web che potrebbe migliorarti le reportistiche e la gestione delle iscrizioni/disiscrizioni, come minimo?

Ho una lista di quasi 50.000 indirizzi e una volta al mese invio una mail a testa uguale per tutti senza personalizzazione, di solito faccio invii di 4000/5000 mail al mattino e altrettante la sera, fino al raggiungimento del limite degli indirizzi.
utilizzo sandblaster+smtp principalmente perché da quando ho iniziato mi sono sempre mosso in questo modo e perché ho visto che con sistemi come mailchimp per gestire 50.000 indirizzi spenderei 2500€ al'anno contro i poco più di 600 che spendo attualmente, e per me sono veramente troppi in questo momento. poi se esistono sistemi più economici non ne sono a conoscenza.

50.000 destinatari non sono pochi: hai degli strumenti per capire che le tue email arrivano a destinazione e che vengono aperte? Misuri almeno i tassi di apertura?
Il rischio è che tu, concentrandoti sullo spendere poco, finisci per perdere solo tempo: spendi poco ma di fatto se le email non vengono aperte stai sprecando il tuo tempo.

Di alternative a Mailchimp, in italiano, che per una cifra simile a quella che spendi ora (magari 100-200€ in più, ma non ai livelli di Mailchimp) ma che ti permettono di inviare in maniera più professionale, risparmiando molto tempo e gestendo varie cose in automatico, disiscrizioni in primis, ma pulizia dagli indirizzi inesistenti fondamentale ai fini della reputazione ce ne sono molti secondo me (non li cito ma se cerchi "servizo invio newsletter" o robe simili su google li trovi tutti)

Se 50.000 persone ti hanno chiesto di ricevere le tue email significa che hai qualcosa di interessante da dire, ma farlo senza misurare in alcun modo ciò che stai facendo e senza assicurarsi di fare una gestione corretta dell'invio e della lista è molto rischioso.

Il mio suggerimento è di aggiungere al prezzo che tieni in mente anche il tuo tempo e dare un valore alle conversioni che riesci a generare e magari provare anche solo per qualche mese una di queste piattaforme e vedere se il bilancio finale è migliore o peggiore di prima.

Non voglio dire la frase che odio "chi più spende meno spende", ma chedo che sia importante valutare nella spesa anche quei costi meno visibili come il tuo tempo e quei costi meno visibili come il mancato ritorno perchè magari una tua email è finita in spam e nemmeno lo sai (quindi un costo che non stai misurando).

Qual è lo scopo della newsletter? suppongo che essere letta sia uno di questi. Quindi se un servizio fa sì che venga letta dal doppio dei destinatari mentre l'altro ti manda tutte le email in spam allora ha senso veramente guardare quello che costa meno dei due o piuttosto conviene fare un rapporto qualità/prezzo? Non che dipenda solo dal fornitore, anzi tutt'altro, ma fino a che non misuri non lo sai e non saperlo è male.

Ora smetto di cercare di convincerti che dovresti passare ad un "servizio newsletter" vero e proprio e ti dico che se proprio vuoi continuare ad usare SendBlaster allora puoi valutare di usare servizi che fanno anche da SMTP come Mailgun o Sendgrid che sicuramente ti costano meno della cifra di cui parli (almeno in termini di costo secco del servizio smtp, trascurando gli altri fattori di cui ti ho parlato). Però quanto meno, prima di valutare il passaggio, mettiti in grado di fare una valutazione sulle performance dei tuoi invii (anche solo facendo in modo che i link verso il tuo sito contengano i paramtri di tracciamento di google analytics e misurando le visite che la tua newsletter genera verso il tuo sito, se usi google analytics nel sito).

Tornando alla tua domanda "a parità di numero di invii effettuabili in 1 mese (es. 50.000) cosa fa salire il prezzo di 500€?": potrebbe essere la velocità della piattaforma, le sue funzioni, la sua affidabilità, l'affidabilità dell'azienda che la eroga, semplicemente un posizionamento di mercato diverso, la sua popolarità, quanto spende in advertising, la qualità della loro gestione tecnica ovvero come gestiscono i problemi, come rispondono alle assistenze. A differenza dell'invio SMS dove anche il tuo fornitore li compra ad una certa cifra e poi applica un markup, nell'invio email il tuo fornitore non "compra" le email, ma per forza ha dei costi per tenere in piedi l'azienda. Il costo della singola email inviata è pressochè impossibile da definire, spesso l'azienda più grossa è quella che spende meno tecnicamente per inviare perchè riesce ad ottimizzare i costi, a volte questo risparmio si riflette sul listino, a volte semplicemente lo può investire nel fare più pubblicità e prendere ancora più clienti.

Ciao Alessandro, hai provato a fare un prezzo su MailUp? Nella sua edizione WEB, con invio ad esempio di 10.000 email al giorno dalle 8 alle 12, pagamento con carta/paypal, costa anche meno di ?550/anno con i tuoi volumi.

Io avevo evitato di citare soluzioni proprio per non fare autopromozione, ma visto che Nazzareno ti parla del suo Mailup, ti riporto la soluzione che può proporti VOXmail:

VOXmail Flat fino a 50.000 iscritti costa 750€+IVA all'anno o 250€+IVA a trimestre, invia 50.000 email in meno di 2 ore e se ti serve fare due invii in fila non hai problemi, nel giro di 4 ore puoi consegnare due comunicazioni (magari può capitarti una errata-corrige o altra email da recapitare in urgenza).

Una differenza che credo ci sia con la versione di Mailup che ti propone Nazzareno è che VOXmail non mette propri loghi nella tua email mentre CREDO che la versione di Mailup di cui ti ha parlato Nazzareno preveda la presenza di un logo Mailup nelle email inviate (correggimi Nazzareno se sbaglio, visto che avete rifatto adesso il listino e la "ex-questione nologo" non sono sicuro di aver capito come si è rimappata).

Come vedi Mailup e VOXmail hanno prezzi non troppo diversi per soluzioni che però basano il pricing su concettti completamente diversi: il listino di Mailup è basato prevalentemente sulla velocità di invio, quindi quante email in un ora puoi inviare, mentre quello di VOXmail è basato sulla dimensione della tua lista di iscritti e il prezzo non cambia se invii 1, 2 o 10 newsletter al mese.

Sono certo che tu possa trovare anche soluzioni più economiche tra i fornitori meno conosciuti, ma rinnovo l'invito ad organizzarsi per misurare i ritorni che hai e i costi accessori oltre che il puro costo dell'invio.

Ovviamente qualunque cosa tu scelga di fare, dopo che l'avrai provata un po' torna a farci sapere come è andata!

intanto vi ringrazio per le delucidazioni, i sistemi da voi proposti sono sicuramente interessanti e li terrò sicuramente in considerazione, per il futuro.
Per quanto riguarda la scematura e il controllo degli indirizzi noi facciamo tutto da noi. ogni volta che una mail torna indietro, viene messa da parte e controllata, se l'indirizzo è inesistente o la mail è stata rifiutata dal server, il contatto viene eliminato, idem per chi chiede di disiscriversi dal mailing, quindi da un punta di vista della pulizia delle liste credo che possiamo stare abbastanza tranquilli.
per quanto riguarda il controllo delle mail aperte e cliccate ci affidiamo, sotto consiglio di sandblaster, a trackreports. non credo sia precisissimo, comunque considerando che gli indirizzi a cui mandiamo la mail gli abbiamo scaricati uno a uno da internet, mi ritengo abbastanza soddisfatto del ritorno, ogni volta che inviamo un mailing troviamo sempre qualcuno interessato ai nostri prodotti che ci richiede un preventivo.
Al momento, vista la situazione economica non eccellente volevamo risparmiare semplicemente cambiando servizio smtp, e continuando a gestire tutto da noi. E' vero che chi più spende meno spende, spesso, però è anche vero che 500€ risparmiati per un po' di lavoro in più una volta al mese non sono pochi
Quindi al momento mi interessa sapere quale servizio smtp sia il migliore tra i tanti esistenti.

Confermo Bago, la WEB edition presenta il logo MailUp a fondo pagina, mentre la PRO e la ENTERPRISE no. Una sola nota aggiuntiva per Alessandro: la gestione delle disiscrizioni, degli errori e dei feebback loop è automatizzata e inclusa così come le statistiche; ma il tuo commento sugli indirizzi "scaricati uno ad uno da internet" mi fa pensare che forse il consenso non è raccolto in modo preventivo, libero, specifico e informato. Se è così, MailUp non si può usare.

Anche VOXmail, come Mailup (e tutti i provider seri), non consente l'invio ad indirizzi "scaricati da internet" o comunque per i quali manchi il consenso preventivo.

Ok, quindi l'unica soluzione per me è sendblaster + un servizio smtp + pazienza nel gestire il tutto.
Ma tra i servizi smpt che possono servire a me quale può essere il migliore?

Anche le condizioni di servizio dei principali servizi di SMTP gateway dicono che devi mandare email a chi ti ha dato il consenso. Non so indicarti servizi che consentono l'invio di ciò che vuoi.

Di fatto si tratta di requisiti ereditati dalla normativa italiana: è la normativa italiana a dire infatti che ti serve il consenso (i casi in cui non serve sono pochi e controversi e quindi i fornitori li escludono tutti, perchè anche se forse sono legali di fatto creano problemi di reputazione e di gestione dello spam).

ah ok! allora limiterò il tutto agli indirizzi che hanno dato il consenso, in questo caso quali sarebbero i migliori servizi smtp? Perchè ne vedo 3000 ma senza capire quale sia il più performante

"Performante", in questo ambito, è estremamente soggettivo. I più popolari, nel senso del numero di brand-search su Google, sono nell'ordine Sendgrid, Mailgun, Postmark.

e rispetto ad aziende tipo hostingsolution, hostingperte o turbosmtp c'è differenza o sono grossomodo complemanari?

non li ho mai usati e non ho nemmeno pareri di seconda mano da passarti, spiacente.