Dans les coulisses
Black Friday: comment une expérience risquée nous a sauvés la journée
par Dominik Bärlocher
Black Friday: mise à jour 16h30
22/11/2018
Black Friday est là. Une traductrice et un rédacteur vous informent depuis la cellule de crise des ingénieurs où l’on veille constamment au bon fonctionnement des serveurs. Pour le moment, tout se passe bien.
Dominik Bärlocher, le rédacteur, et Anne Chapuis, la traductrice, vous informent en direct de la cellule de crise des ingénieurs durant le Black Friday, tant que les serveurs tiennent.
23.11.2018 // 16h30 – Peace. Out.
Les ingénieurs lèvent l’alerte. Nous sommes venus à bout de cette journée. Actuellement, nous recensons à nouveau un pic, mais nous sommes bien loin de pouvoir inquiéter les ingénieurs présents dans la War Room, où l’on diffuse actuellement de la musique.
Nous passons donc le relais aux collègues des succursales. À Zurich, trois autres camions viennent d’arriver et à Winterthour, plus de 700 articles ont été livrés.
Depuis la War Room, nous pouvons tirer la conclusion suivante: les serveurs ont tenu le coup.
Nous vous saluons. Merci pour votre attention, les commentaires et surtout les blagues à deux balles. C’est avec plaisir que nous repasserons une nouvelle nuit au côté de toute la communauté. À la prochaine!
Bonne soirée.
23.11.2018 // 14h15 – dans la boîte mail du service client
Des nouvelles du service client à Zurich. Hier soir vers 23h55, il restait 150 e-mails dans la boîte de réception du Customer Care. Vers 01h45 elle en comptait déjà 450. La majorité des e-mails traitaient du problème de finalisation des commandes.
Source : Michael Smith
Pour que l’équipe de Michael Smith arrive à venir à bout de tous ces e-mails, le service client a commencé à travailler une heure plus tôt. Jusqu’à midi, ils ont réussi à atteindre 65% du volume journalier normal. Les premières évaluations de 444 chats montrent que les clients sont satisfaits à 98% du service client.
Félicitation!
23.11.2018 // 13h45 – les fonctionnalités sont à nouveau en ligne
Hier soir, peu avant minuit, nous avons désactivé certaines fonctionnalités qui utilisaient beaucoup de ressources. La fonctionnalité «Articles récemment consultés» était l’une d’elles. Elle est maintenant à nouveau en ligne. Les ingénieurs en sont certains: les serveurs tiennent le coup.
23.11.2018 // 13h35 – des news de la succursale de Wohlen
L’ambiance est encore détendue du côté du shop de Wohlen. Mais cela risque bien de changer en fin de journée.
Source : Katja Röthlisberger
23.11.2018 // 13h30 – du côté de l’entrepôt de Wohlen
Wohlen nous a envoyé l’image suivante du département d’emballage.
Source : Luca Penta
23.11.2018 // 13h25 – Berne est en plein rush
Des nouvelles de la capitale: la succursale de Berne est pleine et tout le monde est occupé.
Source : Alkeos Varouxis
23.11.2018 // 13h15 – les étagères de Winterthour sont pleines à craquer
La succursale de Winterthour annonce que ses étagères sont pleines, que les clients entrent et sortent et que tout se passe pour le mieux.
Source : Sascha Zollinger
23.11.2018 // 11h45 – un demi-million pour midi
Digitec Galaxus ne donne pas souvent de chiffres, mais quand ils le font, même les internes sont impressionnés. Peu avant 10 heures ce matin, nous avons dépassé la barre des 500 000 visiteurs sur digitec.ch et galaxus.ch. Merci!
Oui, les serveurs tiennent bon. Ils tiennent même tellement bien le coup que nous pouvons faire une pause pour aller manger. Au fait : les collègues de la rédaction de Galaxus servent de la raclette devant la succursale de Zurich. Gratuitement.
Bon appétit.
23.11.2018 // 11h25 – Zurich fait honneur au noir
Dans la succursale de Zurich, vous êtes servis par des women et des men in black. Toujours avec style; bien sûr.
23.11.2018 // 10h55 – St-Gall au rapport
St-Gall est déjà au travail.
Source : Simona Portmann
23.11.2018 // 10h40 – Dietikon vous salue
L’équipe de Dietikon est débordée. «Aujourd’hui, c’est difficile d’avoir tout le monde sur une photo», ajoute le Shop Manager Aleksandar Jelic.
Source : Aleksandar Jelic
23.11.2018 // 10h35 – le shop de Genève est prêt!
Les collègues de Genève sont prêts à vous accueillir et vous passent un bonjour de Romandie.
Source : Mario Yanez
23.11.2018 // 10h30 – Bâle, Reporting in!
La succursale de Bâle est prête à vous recevoir. La première livraison est là et l’ambiance est top.
Source : Aleksandar Jelic
23.11.2018 // 10h05 – la première livraison est là
La succursale de Zurich est pleine à craquer. Le premier camion vient d’arriver avec des commandes.
De plus, voici encore quelques infos de l’Engineering concernant le thème «j’ai passé commande, l’argent a été déduit, mais je ne vois pas de commande dans mon profil»: ce phénomène touche une centaine de commandes. Dans la plupart des cas, la commande a été annulée, car les utilisateurs ont, en peu de temps, essayé plusieurs fois de payer. Cela peut entraîner l’activation de la protection contre les fraudes (Fraud Protection) au niveau de la société de cartes de crédit.
23.11.2018 // 09h35 – un pic? Quel pic?
D’un point de vue historique, la War Room des ingénieurs montre une charge élevée vers 9 heures. Mais pas aujourd’hui. Aujourd’hui, on blague: «Il nous faudrait d’abord réduire le nombre de serveurs pour voir un pic.»
Au fait, les donuts sont en rupture de stock.
23.11.2018 // 08h15 – un peu de statistiques
La nuit est passée, mais la journée s’annonce dure. Les chasseurs de bonnes affaires ont ramené leur butin, maintenant arrivent tous ceux qui ne voulaient pas se lever la nuit. Pour le petit déjeuner, un peu de statistiques de la nuit:
- temps de panne total: à peine 4 minutes
- total d’erreurs 502: 12 000
- personnes touchées par le 502 n’ayant pas pu ramener leur butin: 400
Les chiffres sont très simplifiés, c’est vrai; le contexte technologique est plus complexe, mais la crise 502 n’était pas aussi grave que nous le pensions.
L’équipe de nuit a laissé la place à celle de jour. Cette équipe est dirigée par René Zweifel. Il vous passe le bonjour.
23.11.2018 // 02h55 – bonne nuit!
Dominik et moi allons nous coucher. Nous serons de retour vers 7 ou 8 heures et vous tiendrons informé de ce qui s’est passé durant le reste de la nuit. Mais nous ne pensons pas qu’il se passera grand-chose.
23.11.2018 // 02h36 – plus d’AirPods
Bon… les 200 AirPods sont en rupture de stock et rejoindront leurs nouveaux propriétaires dès demain.
23.11.2018 // 02h34 – AirPods fonctionne à nouveau
Nous avons pu éliminer une erreur dans la banque de données qui empêchait des commandes. Quelques secondes plus tard, la PlayStation était en rupture de stock, et le nombre d’AirPods, de nouveau correct.
23.11.2018 // 01h55 – «Achetez une Xbox»
Les problèmes de banque de données, d’après la théorie actuelle, viennent du fait que beaucoup de clients veulent acheter le même article en même temps. Les AirPods et la PlayStation sont actuellement touchés.
Le conseil des ingénieurs: «Achetez une Xbox; la situation se détendra», tout le monde s’est mis à rire.
23.11.2018 // 01h45 – les premiers correctifs sont appliqués
La banque de données a un peu de mal. Elle fonctionne certes de manière stable, mais ses performances ne nous satisfont pas vraiment. Les ingénieurs sont ambitieux. Ils ne veulent pas seulement que la boutique fonctionne, ils veulent qu’elle fonctionne bien.
Comme elles ne viennent pas de chez nous, les erreurs 502 lors du passage en caisse perdurent.
23.11.2018 // 01:18
Dans le live stream Sandro a demandé à Dominique de lui communiquer le lien pour le texte suivant:
23.11.2018 // 01h00 – nous sommes de nouveau en ligne
La panne est passée. Elle a plus ou moins duré une minute. La raison? Un basculement. Nous sommes de nouveau en ligne.
23.11.2018 // 00h57 – nous sommes hors ligne
Nous sommes hors ligne. On ne sait pas pourquoi. Nous y travaillons.
23.11.2018 // 00h41 – question paiement
La communauté signale que les boutiques en ligne affichent des codes d’erreur 502. Ce qui signifie qu’un serveur signale un time out lors du passage en caisse. Cela peut arriver quand trop de commandes arrivent en même temps dans le système – soit le nôtre ou celui de la société de cartes de crédit.
Veuillez documenter le tout pour un éventuel cas de garantie et essayez de changer le moyen de paiement. Fraud Protection devrait normalement intervenir, mais on n’est jamais trop sûr.
23.11.2018 // 00h24 – premières pannes, pas de problème
Les premiers scripts du système sont en panne. De plus, Twint est hors ligne. Veuillez choisir un autre moyen de paiement.
Les scripts en panne ont, bien entendu, redémarré. Actuellement, personne ne panique.
23.11.2018 // 00h00 – les serveurs tiennent
Nous l’avons dit! Les serveurs tiennent. Nous travaillons certes avec une performance de système de 600%, mais ils tiennent le coup.
Deux des 30 serveurs affichent des difficultés. Si vous êtes sur l’un de ces serveurs, cliquez sur F5.
Mais les systèmes tiennent. Ouf!
22.11.2018 // 23h51 – le live stream est en ligne
Thierry Pool et Sandro Hostettler streament les évènements de la nuit en direct (seulement en allemand, mais qui sait, si vous êtes sages peut être que l'année prochaine il sera aussi en français :P). Vous trouverez le stream sur Facebook
22.11.2018 // 23:45 – l’hymne de guerre
Let's Dance!
22.11.2018 // 23h35 – dernières instructions
Stefan Müller vient de donner les dernières instructions. Les fonctionnalités qui ne sont pas indispensables sur le site sont désactivées, les capacités du serveur, laissées pour les fonctionnalités de la boutique en ligne.
«On s’ennuie», ajoute quelqu’un peu après le stand up meeting. Tout le monde se met à rire.
La réponse: «Espérons que ça dure.»
23.11.2018 // 23h15 – server load? Quel server load?
Vous êtes très impatients. Nous avons vite eu une charge de serveur de 70%.
Un problème? Réglé! Team BlackJack a connu son premier succès de la soirée.
22.11.2018 // 23h10 – la rédaction est prête
Les derniers tableaux de bord sont ajustés, les serveurs fonctionnent encore de manière stable.
La série de blagues à deux balles (en allemand) dans les commentaires continue de grandir. Peut-être que les Romands en ont une ou deux à partager?
Je lance la première: connaissez-vous la blague de la chaise?... Elle est pliante…
22.11.2018 // 22h40 – les ingénieurs sont prêts
Le premier briefing est terminé. CTO Stefan Müller vient d’informer les ingénieurs de toutes les équipes. De la répartition des rôles jusqu’à la nourriture; tout est réglé.
Les serveurs tiennent encore. On constate déjà quelques anomalies, mais toujours rien de préoccupant. L’ambiance est détendue.
«C’est drôle: les résultats du sondage ne donnent pas 100%», remarque Stefan Müller.
Bref: les ingénieurs sont prêts.
22.11.2018 // 11h – l'annonce
Le plus éprouvant de l'année pour les serveurs digitec et les ingénieurs qui font leur maintenance et leur mise à jour: le Black Friday. Aucun autre jour ne voit autant d'utilisateurs se connecter simultanément sur le site et ne voit autant de trafic. Bref: vous et la communauté mettez nos serveurs à rude épreuve durant 24 heures.
Une équipe provenant des quatre coins du département Engineering veut y remédier. Aujourd'hui, dès 22 heures, elle prendra ses quartiers à la Pfingstweidstrasse et attendra de voir ce qui passe. L'équipe de garde, surnommée «War Room» pour l'occasion, est dirigée par la team BlackJack. Sa tâche principale est le Site Reliability Engineering: «nous veillons à ce que le site fonctionne le plus fiablement et longtemps possible», résume le chef d'équipe René Zweifel.
La rédaction digitec sera présente et, dans la mesure du possible, relatera les évènements en direct du War Room of Engineering. Si les ingénieurs se donnent de la peine, alors la rédaction aussi. Anne Chapuis, la traductrice, m'accompagnera et traduira notre article en français presque intantanément. Nous espérons que les serveurs tiendront le coup, sinon nous aurons passé une nuit blanche en vain.
L'équipe BlackJack n'a pas manqué d'ironiser la situation: «L'année dernière, les serveurs ont planté au bout de 17 secondes. Mais cette fois-ci. avec toutes nos mises à jour de performance, nous sommes sûrs de pouvoir y arriver en moins d'une seconde.»
Est-ce que les serveurs tiendront le coup?
Les serveurs digitec sont mis à l'épreuve lors du Black Friday. Pensez-vous qu'ils tiendront le coup?
- Oui24%
- Non31%
- J'aime les dauphins45%
Le concours est terminé.
Journaliste. Auteur. Hackers. Je suis un conteur d'histoires à la recherche de limites, de secrets et de tabous. Je documente le monde noir sur blanc. Non pas parce que je peux, mais parce que je ne peux pas m'en empêcher.
Informatique
Suivez les thèmes et restez informé dans les domaines qui vous intéressent.
509 commentaires
later