Historique de la page

...

Cet article résume le fonctionnement et les mécanismes de lutte antispam et antivirus mis en oeuvre œuvre sur la messagerie Gadz.org.

Quelques statistiques en introduction :

Mails entrants 

• Nombre d'adresses en @gadz.org (et dérivé dérivés m4am/gadzarts et j'en passe) : dans les plus de 50 000 (sans compter les alias).Nombre de comptes Google : gadz.org : 25 000 et imelavi.fr : 7 000Nombre de redirections emails externes : 50 000
• Moyenne mails reçus / jour : 250 000 mails
• Moyenne mails filtrés / jour : 80 000 mails (65 000 par RBL, 10 000 par blacklist et 5 000 par vérification d'intégrité)

Mails sortants

• Nombre de comptes Google : gadz.org : 25 000 et imelavi.fr : 7 000
• Nombre de redirections emails externes : 50 000
• Moyenne mails livrés / jour (aux boites Google Gadz.org + redirections) : 150 000 mails
• Taux de livraison moyen (chiffres 2021) : 98.9%.
  Ordre par fournisseur et par volume (top 8) :
  
  • Google : 116 000 mails - 100% (inclus Gmail.com et les G Suite Gadz.org + imelavieimelavi.fr)
  • Orange : 7 500 - 98%
  • Yahoo : 5 000 - 98%
  • Microsoft : 4 500 - 100%
  • SFR : 3 000 - 98%
  • Free : 2 700 - 94%
  • Laposte : 1 800 - 93%
  • Ensam : 1 200 - 100%
    
    

Photo de l'architecture mail "gadz.org" en date de juillet 2022 :

Image RemovedImage Added

Les redirections mails n'ont pas de garanties de fiabilité, les FAI/fournisseurs de messagerie/messagerie pro/etc... ont chacun leurs propres règles et filtrages (dont nous n'avons bien évidement pas la main).

...

Des filtrages antispam sont présents sur la messagerie Gadz.org ; voici la liste non exhaustive des mécanismes mis en place :

...

La mise en place de DMARC, DKIM et le durcissement des SPF sont dû à cela ; éviter que la terre entière puisse envoyer "en tant que" gadz.org et que l'intégralité des comptes Google de la communauté soient de nouveau bloqués pour des raisons de spams.

Exemple d'erreurs :

...

Exemple d'erreurs :

Exemple d'erreurs :

Le champ [XXX.XXX.XXX.XXX] correspond à l'IP de l'émetteur, il suffit généralement de se rendre sur le site de la black list et saisir l'IP indiquée pour connaitre les motifs du blacklistage, et effectuer la demande de dé-listage quand elle est possible. Un lien direct est généralement fourni dans la réponse.

Chaque liste possède son propre fonctionnement ; il n'est pas toujours possible de se désinscrire manuellement (les processus sont automatiques et réclament du temps), surtout en cas de récidive.

Nous n'avons pas la main sur ces services "tiers" : nous ne sommes donc pas en mesure d'y ajouter ou retirer des adresses spécifiques.

Techniques mises en place : 

Sur postfix : reject_rbl_client sur client_restrictions et recipient_restrictions

5- Greylisting (liste grise)

La liste grise est un terme utilisé pour décrire une technologie antispam particulièrement efficace ; Pour simplifier, le courrier entrant est rejeté temporairement et il est indiqué au serveur qui envoie le message d’attendre et de réessayer l’envoi un peu plus tard. Tout serveur de mail légitime respecte cette règle. Les serveurs de mail non légitimes (utilisés par les spammeurs) ne le font pas car cela leur fait perdre de l’efficacité (temps/argent/perf).

Cette technique permettait d’atteindre des taux d’efficacité très élevés, de l’ordre de 99 % quand elle a été proposée en 2003, puisque la très grande majorité des spammeurs préfère sacrifier un courriel plutôt que d’attendre et ainsi, diminuer leur performance. Actuellement l’efficacité est moins importante (~80-90 %) à cause de l’augmentation de l’utilisation des webmails (des vrais serveurs de messagerie), par les spammeurs, pour distribuer les spams.

Cette technique induit cependant des délais plus ou moins long de livraison des mails (entre 5 min et 24 heures selon les cas).

Une liste de domaines "de confiance" qui ne sont pas soumis au greylistage est tenue à jour (et à discrétion) par les équipes Gadz.org

Exemple d'erreurs :

Techniques mises en place : 

pfixtools avec postlicyd

6- Antivirus ClamAV

Exemple d'erreurs :

7- Antispam Bogofilter (Filtrage bayésien)

Nous utilisons l'antispam Bogofilter. Le filtrage bayésien du spam (du mathématicien Thomas Bayes) est un système fondé sur l'apprentissage d'une grande quantité de spams et courriels légitimes afin de déterminer si un courriel est légitime ou non. Afin de bien fonctionner, le corpus de spam et le corpus de ham (courriels légitimes) doivent contenir idéalement plusieurs milliers de « spécimens ».

...

Techniques mises en place : 

Sur postfix : reject_rbl_client sur client_restrictions et recipient_restrictions

Liste blanche IP via :  check_client_access cidr:/etc/postfix/rbl_override,

5- Greylisting (liste grise)

La liste grise est un terme utilisé pour décrire une technologie antispam particulièrement efficace ; Pour simplifier, le courrier entrant est rejeté temporairement et il est indiqué au serveur qui envoie le message d’attendre et de réessayer l’envoi un peu plus tard. Tout serveur de mail légitime respecte cette règle. Les serveurs de mail non légitimes (utilisés par les spammeurs) ne le font pas car cela leur fait perdre de l’efficacité (temps/argent/perf).

Cette technique permettait d’atteindre des taux d’efficacité très élevés, de l’ordre de 99 % quand elle a été proposée en 2003, puisque la très grande majorité des spammeurs préfère sacrifier un courriel plutôt que d’attendre et ainsi, diminuer leur performance. Actuellement l’efficacité est moins importante (~80-90 %) à cause de l’augmentation de l’utilisation des webmails (des vrais serveurs de messagerie), par les spammeurs, pour distribuer les spams.

Cette technique induit cependant des délais plus ou moins long de livraison des mails (entre 5 min et 24 heures selon les cas).

Une liste de domaines "de confiance" qui ne sont pas soumis au greylistage est tenue à jour (et à discrétion) par les équipes Gadz.org

Exemple d'erreurs :

Techniques mises en place : 

pfixtools avec postlicyd

6- Antivirus ClamAV

Exemple d'erreurs :

B- Mécanismes des fournisseurs de messagerie (appliqués sur toutes les redirections)

Les mails transférés aux adresses de redirections : fournisseurs internet grands publiques (Orange, Free, SFR, LaPoste.net...), fournisseurs de messagerie mondiaux (AOL, Yahoo, Gmail, Microsoft...), organisations privée (Airbus, Renault, Ensam...) sont également soumis à des filtrages lors de leur réception par le service de messagerie final.

Voici des exemples de filtrages possible par ces services :

7- Antispam Bogofilter (Filtrage bayésien)

Nous utilisons l'antispam Bogofilter. Le filtrage bayésien du spam (du mathématicien Thomas Bayes) est un système fondé sur l'apprentissage d'une grande quantité de spams et courriels légitimes afin de déterminer si un courriel est légitime ou non. Afin de bien fonctionner, le corpus de spam et le corpus de ham (courriels légitimes) doivent contenir idéalement plusieurs milliers de « spécimens ».

Lors de la détection d'un spam par Bogofilter, il est placé sur la quarantaine mutualisée "https://spam.gadz.org"

Exemple d'erreurs :

B- Mécanismes des fournisseurs de messagerie (appliqués sur toutes les redirections)

Les mails transférés aux adresses de redirections : fournisseurs internet grands publiques (Orange, Free, SFR, LaPoste.net...), fournisseurs de messagerie mondiaux (AOL, Yahoo, Gmail, Microsoft...), organisations privée (Airbus, Renault, Ensam...) sont également soumis à des filtrages lors de leur réception par le service de messagerie final.

Voici des exemples de filtrages possible par ces services :

Cas spécifiques à Google

Cas 1 : Le mail est bloqué en sortie de Gadz.org par les relais antispam Google

En test pour les domaines Google : gmail.com + imelavi.fr (G Suite) + soce.fr (G Suite) + fondam.fr (G Suite) d’août à octobre 2017. Arrêté depuis suite à 2 constats :

• Nombre de faux positif anormalement élevé ; les antispam de Google en "sortie" sont encore plus sévères que ceux en "entrée" de Gmail et avaient tendance à rejeter à taux très élevés de mails
• Une limite vite atteinte : malgré des calculs optimistes, nous avons fini par atteindre la limite de nombre de mail / 24h en relais sortant pour notre domaine G Suite (environ 180 000 / 24h glissantes suite à l'envoi de NL depuis le site Soce  + le trafic des redirections habituelles)

Les seuls domaines pour lesquelles les relais Google sont encore utilisés pour l'envoi de mails sont les domaines corporates "internes" (comprendre pour la communication officielle de la part de Google ou bien des gadz salariés Google) :

...

L'expéditeur reçoit un retour de ce type si son mail est bloqué par un des relais de Google :

Image Removed

Une copie de ce rapport de blocage est envoyée à la boite "[email protected]" : une règle les archive dans la corbeille durant 30 jours avant suppression

Cas 2 : Le mail est rejeté par les filtres antivirus de Google :

...

Cas spécifiques à Google

Cas 1 : Le mail est bloqué en sortie de Gadz.org par les relais antispam Google

En test pour les domaines Google : gmail.com + imelavi.fr (G Suite) + soce.fr (G Suite) + fondam.fr (G Suite) d’août à octobre 2017. Arrêté depuis suite à 2 constats :

• Nombre de faux positif anormalement élevé ; les antispam de Google en "sortie" sont encore plus sévères que ceux en "entrée" de Gmail et avaient tendance à rejeter à taux très élevés de mails
• Une limite vite atteinte : malgré des calculs optimistes, nous avons fini par atteindre la limite de nombre de mail / 24h en relais sortant pour notre domaine G Suite (environ 180 000 / 24h glissantes suite à l'envoi de NL depuis le site Soce  + le trafic des redirections habituelles)

Les seuls domaines pour lesquelles les relais Google sont encore utilisés pour l'envoi de mails sont les domaines corporates "internes" (comprendre pour la communication officielle de la part de Google ou bien des gadz salariés Google) :

google.fr
google.com
googlemail.com

L'expéditeur reçoit un retour de ce type si son mail est bloqué par un des relais de Google :

Image Added

Une copie de ce rapport de blocage est envoyée à la boite "[email protected]" : une règle les archive dans la corbeille durant 30 jours avant suppression

Cas 2 : Le mail est rejeté par les filtres antivirus de Google :

L'expéditeur reçoit dans ce cas un message de retour (non delivery notification) indiquant la raison suivante :

...

C- Cas spécifiques Gadz.org

...

Utilisateurs existant, n'ayant ni de compte Google actif, ni d'adresse(s) de redirection active(s)

Vous envoyez un mail à une adresse [email protected] et vous obtenez le retour suivant :

...

Remote-MTA: dns; hruid.agoram.org
Diagnostic-Code: smtp; 550 5.1.1
    <[email protected]>: Recipient address
    rejected: User unknown in local recipient table

...

 recipient table

Redirections emails depuis un domaine/serveur de mail perso, ou pro, vers gadz.org

La messagerie gadz.org a été conçue à la base pour justement rediriger des mails. Pas vraiment pour recevoir des mails déjà redirigés...

Récupérer les mails de votre boite mail perso/pro et les consulter via votre compte Google gadz.org , grâce à la fonctionnalité Gmail "Comptes et importation" -> "Consulter d'autres comptes de messagerie". 

Une fois les informations techniques (adresse, serveur imap/smtp, etc...) et de connexions (login/mdp) de votre boite externe sont saisies, et que le compte est correctement ajouté, vous pourrez consulter via Gmail de Google gadz.org vos emails externes.

FAQ Google sur cette fonctionnalité : https://support.google.com/mail/answer/21289?hl=fr&co=GENIE.Platform%3DDesktop#zippy=%2C%C3%A9tape-modifier-les-param%C3%A8tres-gmail