Chers clients,

Nous revenons vers vous au sujet de l’incident du mardi 31 août.

Résumé chronologique

Vers 9h45, nous avons constaté la perte de notre salle du NetCenter de Courbevoie, impactant fortement les services rendus à nos clients. Nous avons ∂épéché un technicien sur place, qui a constaté une coupure de courant au niveau de nos baies. Nous avons constaté le retour de l’alimentation vers 10h10.

Toutefois, ce rétablissement n’a pas permis un retour fonctionnel immédiat, notamment pour le service Voice Management. En effet, les temps de démarrage variables entre certains systèmes interconnectés ont créé des situations de blocage qui ont dû être gérées manuellement pour revenir dans un état nominal. Ce retour à la normale a été progressif et n’a été complet que vers 11h15.

Impact

Nos services rde Trunk SIP, Centrex, et la plupart de nos services de fibre optique redondés géographiquement ont subi des dysfonctionnements mineurs (coupures d’appels en cours, non réception d’appels durant quelques minutes au pire, brève interruption de connexion internet).

Notre service de Voice Management cependant, ainsi que les APIs et interfaces de gestion des services sus-mentionnés ont eux subi la panne de façon plus prolongée, entre 25 et 90 minutes environ suivant les cas.

Causes originelles

Bien que nous n’ayons pas reçu d’information formelle de l’exploitant du datacenter, il semble que la panne soit consécutive à une intervention (non notifiée) sur le circuit BT entre les systèmes de secours (générateurs et onduleurs) et nos baies.

Par ailleurs, les composants centraux du Voice Management (traitement des appels et gestion des interfaces web) étant basés sur le site impacté, l’impact n’a pas pu être automatiquement mitigé sur ces services.

Remédiation

Ce grave incident nous conduit à accélérer le déploiement d'évolutions importantes dans l’architecture de notre service Voice Management, afin qu’un tel incident, pour rare qu’il soit, n’ait qu’un impact limité. Initialement prévues pour être processivement déployés d’ici la fin de l’année, nous travaillons à ressérer le planning sur les semaines à venir. Nous vous tiendrons informés du déploiement effectif de ces évolutions.

Nous travaillons par ailleurs à la correction des anomalies ayant été détectées lors du redémarrage des systèmes.

Enfin, nous allons élargir le scope des scénarios dégradés effectivement testés régulièrement. Habituellement limités à des cas sans risque d'impact client, nous procéderons à des tests “grandeur nature” afin de valider la totalité des scénarios de nos PCAs. Vous serez notifié (via le présent canal) de la planification de ces opérations.

En savoir plus

Vos interlocuteurs habituels se tiennent à votre disposition pour répondre à vos question et vous fournir des informations plus détaillées sur la nature et l’organisation des opérations à venir.

Nous vous présentons nos excuses pour cet incident dont nous sommes pleinement conscients de l’impact sur votre activité et vous assurons de notre engagement à vous fournir des solutions au meilleur niveau de fiabilité.