11 Mars 2020, 00h47 (heure de Paris) : Un incendie se déclare dans le data center d'OVH Cloud à Strasbourg. Quasi-immédiatement, le data center entier est mis hors tension.
Pour rappel : ce data center héberge l'application Auditool ainsi que toutes les données d'audit d'une partie de nos clients.
11 Mars 2020, 3h50: La sauvegarde quotidienne automatique des données d'Auditool vers un second site en France échoue, suite à l'indisponibilité du data center.
11 Mars 2020, 7h00: Le feu est maitrîsé grâce à l'intervention d'une centaine de pompiers. Une partie du datacenter a pu être sauvé mais le courant est coupé pour tout le site et le datacenter entier est toujours hors service.
11 Mars 2020, 8h00: L'équipe de gestion de crise JUNE est activée. Nous dressons un bilan des impacts et nous informons immédiatement nos clients de l'incident. 30% de nos clients sont impactés.
Rapidement, nous comprenons que les données sauvegardées dans le datacenter OVH seront, au mieux, récupérées dans plusieurs semaines, au pire, perdues. Fort heureusement, chaque licence Auditool inclut une sauvegarde externalisée quotidienne.
11 Mars 2020, 10h00: Le plan de reprise d'Auditool est activé, mais le service OVH de gestion des noms de domaine est indisponible à cause d'une trop grande affluence. Nos équipes sont obligées d'attendre le rétablissement du service OVH pour poursuivre le plan de reprise.
11 Mars 2020 14:00: Le service DNS d'OVH est de nouveau opérationnel. Nos équipes répliquent puis déploient Auditool sur un nouveau serveur. Des tests opérationnels sont également réalisés pour s'assurer du bon déploiement.
11 Mars 2020, 16h30: Rétablissement complet du service Auditool, 100% de nos clients ont accès à leur instance d'Auditool, avec les données de la sauvegarde de la veille. Auditool est dorénavant basé sur le site d'OVH à Gravelines, en France. L'application est hébergée dans un serveur en France, avec les mêmes performances et la même politique de protection des données.
Ainsi, Auditool va continuer d'offrir la même qualité de service que précédemment, et tous nos engagements en matière de protection des données restent valables.
Petit hic : les données de la journée du 10 Mars ont été perdues... Mais pas pour Auditool ! Grâce au mode hors-ligne d'Auditool, nos clients ont pu continuer à travailler sur leur audit même pendant la période d'indisponibilité, puis synchroniser les 2 jours de travail le 11 Mars en fin de journée.
Résultat : aucune donnée d'audit perdue et un impact quasi-nul sur la productivité de nos clients.
Une journée agitée pour nos équipes, heureusement sans conséquence grâce aux sauvegardes externalisées et à un plan de reprise bien établi
La suite ? Nous attendons des nouvelles d'OVH pour la récupération des données et la reprise du service. Cet incident nous a également permis de tester notre plan de reprise en conditions réelles, que nous allons continuer d'améliorer.
L'équipe June Factory tient à s'excuser pour la gêne occasionnée suite à cet incident exceptionnel et indépendant de notre volonté.
Nous restons à votre disposition pour toute question ou réclamation.
Crédit Photo : Twitter
