Hier vendredi 15 avril 2005, début d’après-midi sur le chemin du bureau…
13h48 : mon portable émet un bip signalant la réception d’un SMS. Il s’agit d’un message d’alerte de notre serveur aurillacois qui m’indique qu’il n’arrive plus à se connecter sur notre plate-forme d’hébergement parisienne. En gros : nos machines sont en rade. Traduction : JeuxVideo.com est inaccessible, de même que tous nos clients (JSports*, Teddy Toys, Cantal.com, etc..), et même nos mails ! Bref, c’est une catastrophe : notre dizaine de serveurs hébergeant tout ça ne répond plus à nos pings incessants.

14h : J’arrive au bureau : David, notre responsable tehcnique, avait évidemment contacté le data center dans la minute pour voir ce qui se passe. Réponse : un incendie s’est déclaré dans le data center, la salle de climatisation est en train de cramer. Nos machines ne sont pas touchées pour l’instant, mais comme la clim est HS, il a fallu éteindre toutes les machines (oui parce qu’un serveur ça chauffe et ça doit être refroidit sous peine d’être endommagé). Les pompiers sont en train de traiter l’incendie, mais ils ont fait évacuer le bâtiment, et en ont interdit l’accès à toute personne étrangère aux secours.
Bref, c’est la catastrophe : nos machines sont éteintes, il y a le feu (au sens propre comme au figuré), et on ne sait absolument pas quand on pourra remettre les machines en ordre de marche (si tant est qu’elles ne crament pas avec la salle de clim). A cet instant, on pense que le data center est rendu inutilisable puisque privé de climatisation. On n’espère qu’une chose : que les pompiers laisseront l’accès à nos techniciens pour qu’ils puissent récupérer les machines afin de les déplacer vers un autre data center tout proche. Ce qui implique de reconstruire toute l’architecture réseau, de remettre les serveurs d’applomb… On s’attend donc à être coupé pour au minimum de longues heures et au pire plusieurs jours !!!

A ce moment, on fait le point à Aurillac pour essayer de prendre des mesures ici pour parer au plus pressé. Mais force est de constater qu’on ne peut pas faire grand chose. On ne peut même pas mettre de message à l’attention des internautes pour leur expliquer ce qui se passe ! On ne peut vraiment rien faire… A part prévenir nos clients par téléphone… Le moral n’est pas au beau fixe dans l’équipe… Mot d’ordre : continuer quand même à bosser comme si on allait être rétabli bientôt.

15h : On est déjà HS depuis plus d’une heure. Conformément à ce qu’on avait prévu, on appelle toutes les heures le data center pour être tenu au courant de l’évolution. Cette fois-ci, les nouvelles sont plutôt rassurantes : les pompiers ont laissé les techniciens rentrer dans les locaux : a priori nos machines ne sont pas touchées (ouf !). Une salle de clim n’a par ailleurs pas été touchée par l’incendie (re-ouf !). On va donc essayer de redémarrer comme si de rien n’était en étant refroidit avec la nouvelle clim. Enfin, avant ça, il faut quand même vérifier toutes les installations électriques, mais aussi et surtout laisser se dissiper la chaleur due à l’incendie… Temps estimé : 2 à 3 heures…

Soulagement ici, on va peut-être pouvoir mettre à jour JeuxVideo.com pour le week-end ! Mais on ne crie pas victoire tant qu’on n’est pas de nouveau opérationnel : chaque minute où nos serveurs sont down est vécue comme un échec.

~16h : On s’aperçoit que nos machines sont en train de redémarrer : les techniciens ont donc fait plus vite que prévu. On s’aperçoit alors qu’elles ont été éteintes brutalement (coupure électrique!). Le frontal W3 ne redémarre pas. Les deux serveurs qui hébergent la base de données des forums peinent : ils checkent les bases, ça va durer une bonne demi-heure…
Mais on commence à respirer : les sites web de nos clients sont revenus, JeuxVideo.com également, nos mails fonctionnent à nouveau… Les forums vont repartir, et même W3 un peu plus tard après l’intervention d’un technicien…

~17h : notre serveur aurillacois m’envoie un SMS pour me signaler que tout est rentré dans l’ordre… Gros ouf de soulagement. Bravo aux techniciens d’Agarik qui ont agit avec sang froid et efficacité : exactement ce qu’on attend d’eux en pareil cas.

17h30 : je passe sur les forums de JeuxVideo.com : je vois qu’on se fait engueuler par nos lecteurs parce que le site était inaccessible. Ca va, tout est donc vraiment rentré dans l’ordre ! 🙂

*Jsports.fr qui a d’ailleurs été récompensé par un net d’or par la CCI au cours de la cérémonie éponyme qui se déroulait jeudi dernier au Village d’entreprises d’Aurillac.