Incident réseau majeur

Incident Report for Axialys

Postmortem

(version française ci-après)

We can confirm that one of the failed links has been restored by the vendor at around 12:30 CEST today. Following our validation, this link has been put back in production at 13:00 CEST, causing a one minute outage.

The performance of our network is now back to normal.

We are investigating with the respective vendors the root cause of the problem, including why, after the failed link was repaired yesterday evening, the scheduled maintenance broke it in another way.

We are deeply sorry for this outage and the impact on your business.

A complete post mortem analysis is available upon request from your usual contact at Axialys or support@axialys.com.

===

Nous vous confirmons que l’un des liens endommagés a été réparé par le fournisseur vers 12:30 GMT ce lmardi. Après une validation de son fonctionnement, il a été remis en production à 13:00 CEST (avec une coupure d’une minute).

La performance de notre réseau est nominale depuis.

Nous cherchons à comprendre avec les fournisseurs concernés les causes du problème, et notamment pourquoi certaines réparations ont été très longues et pourquoi la maintenance planifiée par le vendeur a de nouveau causé un plantage.

Nous sommes désolés pour cet incident majeur et pour l’impact sur votre activité.

Une analyse post-mortem détaillée est disponible auprès de votre interlocuteur Axialys habituel ou auprès de support@axialys.com.

Posted Oct 03, 2023 - 17:52 CEST

Resolved

This incident has been resolved.

Posted Oct 03, 2023 - 16:59 CEST

Update

Further issues have been discovered this morning, including call failures and voice quality issue. The cause has been identified and is being fixed.

Posted Oct 03, 2023 - 09:33 CEST

Update

(english version below - apologies for the multiple erroneous transmissions)

We have been working through the night with our vendors. While some progress has been made by switching defective vendor equipment, service has not been restored on our original links.

In the meantime, we have been implementing a better workaround, which should let us operate normally.

We do not foresee significant disruption later today, and will take every possible measure to avoid further diruption when the links come back online.

We will keep you updated as the situation evolves.

===

Nous avons travaillé cette nuit avec nos fournisseurs. Bien que des progrès aient été faits avec le remplacement par l'un de nos fournisseurs de l'un de ses éqipements défectueux, la situation mest pas revenue à la normale.

Néanmois, nous avons pu implémenter une solution de contournement améliorée, qui devrait permettre de fournir un service normal.

Nous ne prvoyons pas de problème significatif ce jour, et nous prendrons toutes les précautions pour éviter tout dérangement lors de la remise en route des circuits.

Nous vous tiendrons informés des évolutions.

Posted Oct 03, 2023 - 08:04 CEST

Update

We are continuing to work on a fix for this issue.

Posted Oct 03, 2023 - 07:55 CEST

Update

We are continuing to work on a fix for this issue.

Posted Oct 03, 2023 - 07:36 CEST

Update

(version française ci-dessous)

We are still investigating the issue on site with our vendors.
We have lost two redundant links in a matter of hours and are still operating on a third, lower capacity circuit between our datacenters.
At this time we believe that our services are operating almost normally, but the situation is still evolving.
We are really sorry for this major outage and doing all we can to get back as soon as possible to a normal situation.

Nous poursuivons nos investigations sur site avec nos fournisseurs.
Nous avons perdu deux liens redondants en quelques heures et nous opérons toujours sur un lien de plus faible capacité entre nos datacenters
Nos services fonctionnent à priori normalement à cette heure, mais la situation n'est pas stabilisée.
Nous sommes désolés pour ces dysfonctionnements dont nous mesure l'impact sur votre activité. Nous faisons tout notre possible pour revenir le plus rapidement possible à une situation normalle.

Posted Oct 02, 2023 - 18:53 CEST

Update

Our network is still experiencing major instabilities. We are working with our vendors in the ongoing investigation. We are fully mobilized on this issue and are doing our best to stabilize things.
Unfortunately we have not ETA Aat this time.

Posted Oct 02, 2023 - 14:48 CEST

Identified

We are still struggling with limited capacity in our infrastructure.
We are doing our best to restore the service as quickly as possible but unfortunately have no precise information regarding restoration at this time.

Posted Oct 02, 2023 - 10:00 CEST

Investigating

(english version below)

Bonjour,

Suite à un incident technique la nuit dernière, nous opérons en limite de capacité réseau sur une interconnexion importante. Cela provoque des ralentissements et dégradations divers. Nous travaillons à la résolution du problème

(english version)

Dear scustomers

Due to a major network outage, we are currently operation at capacity on a major part of our network. This may cause various troubles in call quality and services performances. We are working on fixing the issue.

Posted Oct 02, 2023 - 08:25 CEST

This incident affected: Voice Management - interfaces web, Voice Management - Services Telecom, Services data - liaisons DSL/Fibre, and Trunk SIP.