Incident réseau général
Incident Report for Axialys
Postmortem

Chers clients,

Nous avons subi aujourd'hui deux incidents majeurs impactant notre réseau data, et qui ont eu pour impact d'empêcher nombre de nos clients d'accéder à nos services.

Ces incidents se sont produits entre 12:45 et 13:30 pour l'un, puis entre 16:20 et 17:20 pour l'autre.

Ils sont la conséquence d'incidents de backbone chez notre principal fournisseur d'infrastructure fibre, l'opérateur Zayo.

Bien que nos datacenters disposent de connexions redondantes, celles-ci n'ont pas opéré correctement du fait de la nature de l'incident rencontré, à savoir un taux de pertes de paquets très important sur des liens toujours vus comme fonctionnels,

En outre, et même si nos routeurs BGP ont cessé leurs sessions avec Zayo, celui-ci a continué d'annoncer nos routes sur Internet, conduisant le trafic destiné à Axialys dans un "trou noir" et empêchant nos autres opérateurs de prendre en charge le trafic.

Par ailleurs, ces dysfonctionnements ont également dégradé notre réseau de supervision nous obligeant à nous déplacer physiquement sur site afin de diagnostiquer le problème et d'agir sur l'infrastructure.

Notre fournisseur nous indique que ces problèmes étaient liés à un souci de capacité, sans plus de précision à ce stade.

D'autres problèmes importants ont également été détectés ce jour, dans les infrastructures de plusieurs opérateurs (Lumen/CenturyLink, Free/Iliad), sans rapport à priori avec Axialys ou Zayo, mais qui ont pu également avoir un impact sur le fonctionnement général de la connectivité de nos clients.

Il est évident que ces problèmes et l'impact sur nos services pour nos clients ne sont pas acceptables. Nos ingénieurs travaillent d'ores et déjà sur plusieurs pistes en vue d'améliorer la robustesse de notre infrastructure face à un tel scénario, et d'améliorer notre capacité de réaction dans une telle situation. Nous espérons compléter ces chantiers dans les prochaines semaines.

Nous vous prions de nous excuser pour l'impact de ces dysfonctionnements sur votre propre activité. Notre équipe de support technique et vos correspondants habituels se tiennent à votre disposition pour toute information complémentaire.

Posted Apr 15, 2021 - 23:56 CEST

Resolved
Nous confirmons la résolution de l'incident vers 17:20 ce jour.

Un compte rendu post mortem sera publié dans les prochaines minutes.
Posted Apr 15, 2021 - 23:55 CEST
Monitoring
L'incident chez notre fournisseur Zayo semble maintenant résolu et nos services sont accessibles normalement. Nous continuons de monitorer la situation.
Posted Apr 15, 2021 - 17:26 CEST
Update
Le problème semble lié à l'un de nos fournisseurs de transit internet dont le réseau dysfonctionne. Nous poursuivons nos analyses et vue de remédier au problème au plus vite.
Posted Apr 15, 2021 - 17:07 CEST
Update
We are continuing to investigate this issue.
Posted Apr 15, 2021 - 16:27 CEST
Investigating
Nous subissons ed nouveau un incident réseau important impactant la plupart de nos services. Nos équipes sont mobilisées pour réparer au plus tôt.
Posted Apr 15, 2021 - 16:26 CEST
This incident affected: Voice Management - APIs, Voice Management - interfaces web, Voice Management - Services Telecom, Plate-forme Centrex, and Trunk SIP.