Problèmes réseau
Incident Report for Axialys
Postmortem

Description du problème

Vers 9:30 ce lundi matin l’un de nos sites a été victime d’une attaque coordonnée visant à le saturer de demandes pour l’empêcher de fonctionner. Bien que ce site n’ait pas d’importance significative dans la bonne marche de nos services, le volume de trafic traité a provoqué une saturation partielle sur l’un de nos routeurs. Cette saturation s’est traduite, pour environ 5 à 10% de notre trafic, des impossibilités de connexion, tous services confondus.

L’impact fonctionnel en a donc été la difficulté d’accès à nos sites, des déconnexions de nos outils et/ou des difficultés pour passer ou recevoir des appels.

Bien qu’une partie significative du trafic malveillant (environ 40 millions de requêtes) ait été bloquée automatiquement par notre partenaire Cloudflare, nos règles de détection et de blocage automatisées se sont révélées trop laxistes, et n’ont donc pas pu empêcher la saturation de cet équipement.

Remédiation

Nous avons agi à deux niveaux :

  • blocage du trafic malveillant : nous avons ajusté les paramètres de détection et de blocage de trafic
  • accroissement de la capacité de traitement du routeur concerné (x10)

Bien que les attaques n’aient cessé que tard dans l’après-midi, il n’y avait plus d’impact pour la plupart de nos clients peu après 10h, cependant que le retour total à la normale est intervenu vers 10:40.

Conclusion

Bien que nous soyons outillés pour faire face à ce type de situation, il est difficile d’anticiper et de simuler ce genre d’incident. Nous avons cependant pu, à l’occasion de celui-ci, ajuster nos systèmes et rendre significativement plus robuste notre infrastructure face à de telles attaques.

Nous sommes évidemment conscients de la gêne occasionnée et vous prions de nous en excuser. Nous nous tenons à votre disposition pour tout renseignement complémentaire.

Posted Oct 20, 2020 - 00:22 CEST

Resolved
Nous ne constatons plus d'anomalie
Posted Oct 19, 2020 - 23:02 CEST
Update
We are continuing to monitor for any further issues.
Posted Oct 19, 2020 - 10:51 CEST
Update
Nous avons ajusté nos mesures d'atténuation. Les clients rencontrant toujours des soucis de connexion (en particulier une page d'erreur 1015 apparaissant de façon intermittente) peuvent prendre contact avec notre équipe support (support@axialys.com)
Posted Oct 19, 2020 - 10:51 CEST
Monitoring
Notre infrastructure a subie une attaque de type DDoS. Nous avons mis en place des mesures d'atténuation et monitorons la situation.

Nous vous invitons à nous signaler si le problème persiste.
Posted Oct 19, 2020 - 10:13 CEST
Update
We are continuing to investigate this issue.
Posted Oct 19, 2020 - 10:04 CEST
Investigating
Bonjour,

Nous rencontrons actuellement des problèmes sur notre backbone, induisant des pertes aléatoires de paquets et perturbant la plupart de nos services. Nous investiguons le problème.
Posted Oct 19, 2020 - 10:04 CEST
This incident affected: Voice Management - interfaces web, Voice Management - Services Telecom, Services data - liaisons DSL/Fibre, Plate-forme Centrex, and Trunk SIP.