Incident Voice Management

Bonjour,

Le lundi 23 juin 2025, de 16 h 10 à 17 h 46, nos services Voice Management ont été touchés par une panne, avec notamment les impacts suivants :

• Impossible ou très difficile pour les opérateurs de se connecter aux interfaces web ;
• Bandeaux téléphoniques hors service ;
• Changements de statut qui ne s'enregistrent pas ;
• Messages d'erreurs pour certains utilisateurs SSO.
• Appel entrant et sortant impactés

Ce qu’il s’est passé

Le mécanisme de distribution de messages entre les différents services et équipements du Voice Management s’est bloqué sur une des machines du cluster concerné - celle-ci constatant un dépassement de capacité. Cela a eu pour conséquence de bloquer de nombreux processus applicatifs (cf plus haut). Le problème a été résolu par un redémarrage du service bloqué.

Ce que nous avons fait pendant l’incident

• Relance contrôlée des serveurs impactés.
• Libération des connexions bloquées.
• Surveillance renforcée pour vérifier le retour à la normale.

Ce que nous mettons en place pour éviter que cela se reproduise

• Ajustement de la politique de gestion de la capacité pour ne plus risquer de blocage en cas d’anomalie.
• Délais d’attente côté applications afin d’empêcher les blocages en chaîne.
• Alertes temps réel plus précises pour intervenir avant l’interruption du service.

Depuis 17 h 46 le lundi 23 juin 2025, tous les services fonctionnent normalement et restent stables.

Nous nous excusons sincèrement pour la gêne occasionnée et vous remercions de votre patience. Pour toute question, contactez votre interlocuteur habituel ou support@axialys.com.

‌

‌

Hello,

On Monday, June 23, 2025, from 4:10 PM to 5:46 PM, our Voice Management services experienced an outage, with the following impacts:

• Operators were unable or found it very difficult to access the web interfaces;
• Telephony banners were out of service;
• Status changes were not being recorded;
• Error messages appeared for some SSO users;
• Incoming and outgoing calls were affected.

What happened

The message distribution mechanism between the various Voice Management services and devices became blocked on one of the machines in the affected cluster — this machine had exceeded its capacity. As a result, many application processes were frozen (as mentioned above). The issue was resolved by restarting the blocked service.

What we did during the incident

• Controlled restart of the affected servers;
• Release of blocked connections;
• Increased monitoring to ensure the situation returned to normal.

What we are implementing to prevent recurrence

• Adjustments to the capacity management policy to prevent blocking in case of anomalies;
• Application-side timeouts to avoid cascading blockages;
• More accurate real-time alerts to enable intervention before service disruption.

Since 5:46 PM on Monday, June 23, 2025, all services have been operating normally and remain stable.

We sincerely apologize for the inconvenience caused and thank you for your patience. If you have any questions, please contact your usual representative or support@axialys.com.