• Z
    User •

    Outlook Hotmail filtro smartscreen

    Ciao a tutti,

    A inizio settembre abbiamo avuto un blocco da parte di microsoft nel raggiungere i loro indirizzi di posta attraverso il nostro server dedicato.
    Per esser più preciso inviavamo email a nostri clienti/iscritti al portale (non mail marketing o spam quindi) e queste tornavano indietro con un messaggio errore indicante appunto il blocco messo da microsoft .
    Abbiamo contatto microsoft che nell'arco di 2 giorni circa ha risolto il tutto ora però dopo circa 2 settimane ci siamo resi conto che le email arrivano ma vanno a finire nella cartella indesiderata e contrassegnati come sospetti dal benedeto filtro smart screen.
    Premetto che:

    • abbiamo un sito piuttosto grande e importante con circa 100mila visite mensili
    • il carico di email è parecchio elevato ogni giorno (circa 5000/10000 mail di media inviate al giorno)
    • non abbiamo fatto mai nessun tipo di mail marketing ne da questo dominio ne da questo ip/server sono tutte comunicazioni relative al servizio a cui sono iscritti i nostri clienti (es notifiche).
    • SPF e DKIM sono Ok
    • Abbiamo eseguite vari test nel body (poco testo, mail vuote, con html, senza html ma nulla)
    • Non siamo presenti in nessuna blacklist su mxtoolbox.com mentre su multirbl.valli.org solamente su 1 su 200 e passa ed è un blacklist chilena che dubito influisca e sia solo un falso positivo.

    Abbiamo fatto un check con la mail a check-auth (chiocciola) verifier.port25.com e il risultato è perfetto

    SPF check: pass
    DomainKeys check: neutral
    DKIM check: pass
    Sender-ID check: pass
    SpamAssassin check: ham

    Addirittura spamassassin ci da un punteggio di -2 dove per non essere spam devi essere sotto i 5 quindi...

    Se volete approfondire qui trovate un sorgente di una mail inviata verso outlook e arrivata nello spam, ovviamente dominio e ip sono censurati per motivi di privacy aziendale.

    pastebin.com/gHhW27AL

    Cordiali saluti e a presto.
    Alberto.

    0
  • N
    User Attivo •

    Il filtro antispam di Microsoft è molto complesso e tiene anche in considerazione i "voti" che un sotto-insieme di destinatari Microsoft possono esprimere su ogni singola email (tipo un sondaggio che appare in alto "Ritieni che questo messaggio sia Spam?"). Alcune domande per approfondire:

    1. Hai attivato il programma di feedback loop con loro?
    2. Hai attivato l'accesso SNDS? Di che "colore" sono i tuoi IP? (https://postmaster.live.com/snds/)
    3. Consistenza: mandi messaggi con una certa regolarità? (es. 20.000 email verso server Microsoft tutti i giorni)
    4. Perchè hai un header From: uguale all'header Return-Path: ?
    0
  • Z
    User •

    1)No, non sò nemmeno che sia.
    EDIT visto cose' e attivato ora...se vuoi spiegarmi bene cosa è mi fai un piacere visto che ho capito ben poco
    2)No, non sò nemmeno che sia. mi sono iscritto ora e fatto la procedura di validazione identità e ip però non vedo colori....nel menù ip staus mi dice
    View IP Status

    [/HR]
    The table below lists any IPs you are authorized to view that have an abnormal status. This data is updated once per day, so it may not reflect the current state of the IPs.

    **All of the specified IPs have normal status.

    **EDIT forse non vedo nulla perchè l'ho appena attivato e devo aspettare il feed degli utenti?3) si i messaggi hanno sempre la stessa regolarità e cmq verso server microsoft saranno un 500 al giorno credo.
    4) sinceramente non lo sò è scorretto?e se si perchè?

    0
  • B
    User Attivo •

    Avete qualche tipo di meccanismo di "opt-in"? Ovvero: dici che gli utenti sono iscritti, ma sei sicuro che l'email che hai sia la loro, valida e funzionante? O possono darti una email sbagliata e tu la prendi?

    Hai qualche meccanismo di rimozione degli indirizzi non funzionanti? Se non togli mai gli indirizzi errati poi ti trovi con una percentuale di email indirizzate a destinatari inesistenti e questo pesa molto per hotmail: comunque se hai attivato SNDS dovresti cominciare a vedere le statistiche (ci vogliono 24/48 ore) del singolo IP con varie informazioni a fianco, che potrai riportare qui.

    Finiscono in spam TUTTE le email che partono da quel server e arrivano a Microsoft? Hai provato con mittente diverso, oggetto diverso e un contenuto di almeno 50 parole "realistiche" solo testo per vedere se finisce in spam pure lei?

    Bisognerebbe anche vedere tutte le intestazioni complete, ovvero vedere l'IP, vedere con che HELO si è presentato, la reputazione dell'IP su senderbase etc, per poter fare una valutazione più approfondita.

    0
  • N
    User Attivo •

    1)No, non sò nemmeno che sia. Visto cose' e attivato ora...se vuoi spiegarmi bene cosa è mi fai un piacere visto che ho capito ben poco.

    Rimando a questa spiegazione: http://blog.mailup.it/2010/04/feedback-loop/

    2)No, non sò nemmeno che sia. mi sono iscritto ora e fatto la procedura di validazione identità e ip però non vedo colori....nel menù ip staus mi dice...

    Sì meglio aspettare almeno un paio di giorni. Ti dice la % di email che finiscono nello spam folder, così delimitiamo il problema.

    1. si i messaggi hanno sempre la stessa regolarità e cmq verso server microsoft saranno un 500 al giorno credo.

    **Sono un po' pochini per permettere a Hotmail di costruire una reputazione affidabile dei tuoi IP. La consistenza, cioè fare un volume significativo in modo costante, viene premiata da Hotmail.
    **
    4) sinceramente non lo sò è scorretto?e se si perchè?

    Beh se sono uguali il Return-Path è superfluo, probabilmente non violi RFC ma non è elegantissimo, io toglierei l'header Return-Path.

    0
  • B
    User Attivo •

    Mi sa che gli header che ha incollato sono header di una email inviata dal suo server e ricevuta: quindi l'header Return-Path potrebbe averlo messo il server ricevente trascrivendo il contenuto del "MAIL FROM:" dall'envelope agli header mime, come previsto dall'RFC2822 quando descrive come inserire gli header "Received". Diciamo che per "correttezza" l'header Return-Path dovrebbe essere subito prima del primo Received ma mi sa che è Hotmail che non rispetta le regole in questo caso e lo mette in basso perchè se prendo una email qualunque in una casella hotmail ha il return-path verso la fine degli header.

    0
  • Z
    User •

    @__Bago__

    Avete qualche tipo di meccanismo di "opt-in"? Ovvero: dici che gli utenti sono iscritti, ma sei sicuro che l'email che hai sia la loro, valida e funzionante? O possono darti una email sbagliata e tu la prendi
    Si certo vi è il classico link di conferma via email.

    Hai qualche meccanismo di rimozione degli indirizzi non funzionanti? Se non togli mai gli indirizzi errati poi ti trovi con una percentuale di email indirizzate a destinatari inesistenti e questo pesa molto per hotmail: comunque se hai attivato SNDS dovresti cominciare a vedere le statistiche (ci vogliono 24/48 ore) del singolo IP con varie informazioni a fianco, che potrai riportare qui.
    Li rimuoviamo a mano quando tornano indietro le emal, però non sempre l'abbiamo fatto ma, solo negli ultimi giorni stiamo molto attenti. Ad ogni modo la mole delle mail tornate indietro è davvero poca (una 20ina al giorno)

    Finiscono in spam TUTTE le email che partono da quel server e arrivano a Microsoft? Hai provato con mittente diverso, oggetto diverso e un contenuto di almeno 50 parole "realistiche" solo testo per vedere se finisce in spam pure lei?
    SI,Anche con mittente diverso,Anche con oggetto e testo a doc.

    Bisognerebbe anche vedere tutte le intestazioni complete, ovvero vedere l'IP, vedere con che HELO si è presentato, la reputazione dell'IP su senderbase etc, per poter fare una valutazione più approfondita.
    **pastebin.com/TWDFGrWb

    @ NAZZARENO

    Nonostante siano passati diversi 6 giorni ancora l' sdns non mi da alcun tipo di dato (sia su view data che su ip status (normal))

    UPDATE IMPORTANTE
    **RISPOSTA MICROSOFT
    pastebin.com/4FBuk8Qe

    Grazie dell'attenzione

    0
  • B
    User Attivo •

    La risposta di microsoft non mi sembra compatibile con la tua affermazione che qualunque email con qualunque mittente e qualunque contenuto se spedita da quel server finisce in spam: sei proprio sicuro di aver verificato che una email che non ha alcun elemento comune tranne l'IP finisca sempre in spam?

    Io ho provato a mandare una email con un link verso il tuo dominio da uno dei miei IP ed è arrivata in posta in arrivo senza problemi. Anche usando il tuo stesso mittente e spedendo dal mio server l'email arriva in posta in arrivo.

    Confermi che su SNDS sotto "Access Control" c'è il tuo IP con stato "Normal" e che nella pagina "View IP Status" vedi "All of the specified IPs have normal status"?
    Al momento tu probabilmente invii TROPPO POCO per riuscire a costruire una reputazione: purtroppo se non mandi almeno un migliaio di email (contado solo quelle per microsoft) al giorno è possibile che non entri nel loro "radar" e che quindi non riuscendo a costruire una reputazione del tuo IP ti considerino come "sconosciuto" e i filtri antispam sono diffidenti, molto diffidenti, nei confronti degli sconosciuti.

    0
  • Z
    User •

    La risposta di microsoft non mi sembra compatibile con la tua affermazione che qualunque email con qualunque mittente e qualunque contenuto se spedita da quel server finisce in spam: sei proprio sicuro di aver verificato che una email che non ha alcun elemento comune tranne l'IP finisca sempre in spam?
    Ho provato 5 indirizzi di cui uno appena creato 5 min fa ma nulla...

    Io ho provato a mandare una email con un link verso il tuo dominio da uno dei miei IP ed è arrivata in posta in arrivo senza problemi. Anche usando il tuo stesso mittente e spedendo dal mio server l'email arriva in posta in arrivo.

    Confermi che su SNDS sotto "Access Control" c'è il tuo IP con stato "Normal" e che nella pagina "View IP Status" vedi "All of the specified IPs have normal status"?
    View IP Status

    [/HR]
    The table below lists any IPs you are authorized to view that have an abnormal status. This data is updated once per day, so it may not reflect the current state of the IPs.

    All of the specified IPs have normal status.

    Al momento tu probabilmente invii TROPPO POCO per riuscire a costruire una reputazione: purtroppo se non mandi almeno un migliaio di email (contado solo quelle per microsoft) al giorno è possibile che non entri nel loro "radar" e che quindi non riuscendo a costruire una reputazione del tuo IP ti considerino come "sconosciuto" e i filtri antispam sono diffidenti, molto diffidenti, nei confronti degli sconosciuti.

    Come mai per 4 anni non hanno rotto le scatole e ora si sono svegliati?

    0
  • B
    User Attivo •

    "Ho provato 5 indirizzi di cui uno appena creato 5 min fa ma nulla..."

    Metti su pastebin anche uno dei messaggi "completamente diversi" così verifichiamo quali sono le parti comuni per quello che può saperne microsoft?

    Io ho provato a mandare l'email che hai messo su pastebin (togliendo la firma DKIM e gli header di ricezione) ad una mia casella live.it ed è arrivata in posta in arrivo.

    "Come mai per 4 anni non hanno rotto le scatole e ora si sono svegliati?"

    I filtri antispam cambiano comportamenti quotidianamente, non c'è da stupirsi se una cosa che ha funzionato per anni poi non funziona più. Per gli addetti ai lavori è la regola che ogni giorno ci sia da risolvere un problema di consegna di una email che fino al giorno prima non aveva mai dato problemi.

    0
  • Z
    User •

    Ciao ora ho fatto di nuovo dei test e si comporta in modo bizzarro, ho provato varie caselle (7 tutte quelle che usiamo di più) inviando lo stesso identico testo alcune vanno nello spam altre no... poi quelle che andavano in spam ho riprovato e ora (dopo 10 min) non vanno più nello spam....stessa email...boh non capisco....
    se vuoi dare un occhiata
    trovi qui il login pastebin.com/yy2DrSiZ
    grazie della pazienza

    0
  • B
    User Attivo •

    Ho guardato un po' di email, soprattutto le due che hanno lo stesso mittente supporto@tuodominio ed una in spam e l'altra no, inviate a pochi minuti di distanza.
    Non sono perfettamente uguali: Noto che quella finita in spam nell'html ha ad esempio un tag <pre> che l'altra non ha ed ha anche un <div> </div> che l'altro non ha. In questi test bisogna essere precisissimi: visto che già ci sono variabili basate sul tempo e sulla sequenza che non puoi controllare al,meno le altre devi tenerle completamente sotto controllo.

    In ogni caso qui il problema potrebbe essere che Microsoft sta guardando cosa fai in quella casella e quindi vedendo che una determinata email la sei andata a prendere dallo spam quella dopo prova a mettertela fuori.

    Considera che di base il meccanismo antispam di outlook si basa sul mettere più o meno email di un determinato mittente nello spam al fine di mantenere il tasso di segnalazioni abusi sotto una determinata soglia: questo significa che anche quando pensa tu sia uno spammer, ogni tanto una tua email prova a metterla in posta in arrivo per vedere se la gente continua a marcarla come spam o meno. Dicono di tollerare un complaint rate dello 0.2%, oltre il quale semplicemente mettono molte più email in spam così da mantenere il complaint rate basso.

    Inoltre tutti i tuoi test sono comunque pieni di riferimenti al tuo dominio: se vuoi capire se si tratta di un problema di IP o altro dovresti fare un invio con un mittente/message-id e quant'altro non riportanti il tuo dominio principale.

    Mi sembra che tutte queste prove ci dicano che outlook è indeciso sui tuoi contenuti e quindi si basa su piccoli particolari (o addirittura alla casualità statistica) per decidere cosa fare della tua email. Questo secondo me avviene perchè il tuo IP non fa abbastanza volume per finire nel db di reputazione di microsoft. Purtroppo è un problema noto dell'uso di IP dedicati a poche email (c'è chi spaccia gli IP dedicati come il bene assoluto, ma purtroppo per l'invio email sono utili solamente in casi specifici).

    Ho notato che senderbase rileva solo un po' di traffico dal tuo IP il 5 settembre e il 26 settembre (http://www.senderbase.org/lookup/?search_string=TUOIP):🙂 hai fatto degli invii particolari in questi due giorni? Potrebbe anche essere che quell'invio ti ha fatto finire nelle grinfie dello smartscreen e che pian piano quell'effetto svanisca e in qualche giorno tutte le email finiscano nuovamente in inbox. Se tu non hai fatto niente di diverso dal solito potresti verificare nel maillog del tuo server per vedere che non ci siano email partite da script dei quali non sei a conoscenza.

    0
  • Z
    User •

    si in effetti non sono identica credo cmq sia un semplice spazio bianco che mi è scappato prima del corpo del messaggio....

    finalmente sono usciti i primi dati su sdns...se mi dai una mano a interpretarli te ne sarei grato....
    ecco uno screen
    snag.gy/heJ9w.jpg

    ho visto i log e non c'e' nessuna attività sospetta se non i soliti russi che provano a random password...
    Ora io sono su centos/postfix tu sai se c'e' modo di vedere o abilitare un log di tutta la posta in uscita? da quello che ho visto vedo solo gli accessi pop/smtp ma non i messaggi...

    grazie

    p.s. i vari dati su sdns ogni quanto si aggiornano?

    0
  • Z
    User •

    #post duplicato per errore#

    0
  • B
    User Attivo •

    Il log del mailserver dovresti trovarlo su /var/log/maillog: questo non contiene eventuali email mandate direttamente in TCP/IP da altri software, ma in genere il grosso degli attacchi finisce lì.

    Per il volume vedo che hai 104 email e SNDS dice che compaiono solo i dati di chi fa almeno 100 email in quel giorno e quindi forse sei proprio al limite e molti giorni non finisci in statistica.
    Comunque lui ti sta mettendo "verde" il che significa che secondo lui sta mettendo in posta in arrivo almeno il 90% delle tue email: in che modo hai rilevato che le tue email finiscono in spam? Perchè bisogna capire se il dato di SNDS è sbagliato o se invece hai ipotizzato di finire in spam sempre solo perchè alcune delle tue email finiscono in spam.

    0
  • Z
    User •

    Il log del mailserver dovresti trovarlo su /var/log/maillog: questo non contiene eventuali email mandate direttamente in TCP/IP da altri software, ma in genere il grosso degli attacchi finisce lì.
    si è proprio quello che ho visto però essendo 4 mb di file di testo non è semplicissimo capire se c'e' stato qualcosa....quello che ho visto sono alcuni attacchi bruteforce da russi....

    Per il volume vedo che hai 104 email e SNDS dice che compaiono solo i dati di chi fa almeno 100 email in quel giorno e quindi forse sei proprio al limite e molti giorni non finisci in statistica.
    Si probabile
    Comunque lui ti sta mettendo "verde" il che significa che secondo lui sta mettendo in posta in arrivo almeno il 90% delle tue email: in che modo hai rilevato che le tue email finiscono in spam? Perchè bisogna capire se il dato di SNDS è sbagliato o se invece hai ipotizzato di finire in spam sempre solo perchè alcune delle tue email finiscono in spam.
    **...solo perchè alcune delle mie email finiscono in spam...il discorso è che tutto nasce (come da primo post) dal fatto che a inizio settembre ci avevano bloccato del tutto e le email rimanevano sul server nella coda e non partivano nemmeno, poi dopo aver contattato microsoft ci hanno sbloccato e dai test siamo risultati quasi sempre in spam.

    **ancora grazie

    0
  • B
    User Attivo •

    Quello che è strano è che SNDS con il quadretto verde dice che almeno il 90% delle tue email secondo loro non sono spam, quindi non vorrei che il test, nella sua artificialità, ti stesse dando risultati non corrispondenti alla media.

    Io proprio oggi sto indagando su un problema su hotmail che si presenta in questo modo:

    1. Creo un account outlook.com nuovo.
    2. Spedisco a quell'account una particolare email che arriva in inbox
    3. Spedisco allo stesso account una seconda email (sulla quale ho sospetti) che invece arriva in spam (SmartScreen)
    4. Rispedisco la prima email (quella del punto #2) a quell'account e questa volta va in spam anche quella (SmartScreen).

    In pratica sembra che la seconda email dia un segnale al filtro antispam e che il filtro, SOLO PER QUELLA CASELLA, abbia una memoria di sequenzialità, in quanto se la stessa email del punto la mando ad un'altro account outlook arriva in posta in arrivo.

    Nel mio caso tutte le email partono dallo stesso IP, stessa indicazione di List-Id e stesso Sender ma differenti email mittenti (From) e outlook le considera parte dello stesso gruppo ai fini della "sequenzialità" di cui sopra.

    Se anche solo una volta sposto una email dallo spam alla posta in arrivo a quel punto le email con lo stesso Sender/List-Id SU QUELLA CASELLA arrivano in posta in arrivo e non più in spam: nelle altre caselle continuano ad arrivare in spam.

    0
  • Z
    User •

    Ciao,

    Penso che sia tutto frutto di algoritmo puntato troppo sull'aggresività invece di logicità...staremo a vedere...teniamoci aggiornati.

    0
  • N
    User Attivo •

    Se ti metti nei loro panni, per riuscire a bloccare 9 email su 10 (questo è in media il rapporto tra email legittime e spam) per forza devi accettare che qualche "falso positivo" scappi, e purtroppo tu evidentemente ogni tanto rientri in questa casistica perchè come dice Bago hai una consistenza nei volumi troppo ridotta. Se Hotmail vede un sender che fa volumi costanti con qualità costante (non per forza ottima), gli da' credito. Se vede un sender che un giorno c'è e l'altro no, con volumi irrisori, non si mette neanche a valutare la sua reputazione e lascia che i suoi filtri più aggressivi entrino in azione di volta in volta.

    Comunque ricorda anche ti attivare i feedback loop, saranno anche valori marginali, ma nel tuo caso tutto diventa critico:
    https://postmaster.live.com/snds/JMRP.aspx per Hotmail, poi ci sarebbero diversi altri programmi ma se non hai problemi sugli altri provider lascia stare.

    0
Effettua l'accesso per rispondere