Hinter den Kulissen
Black Friday: Wie ein riskantes Experiment den Tag gerettet hat
von Dominik Bärlocher
Black Friday Live: Update 16:35 Uhr // Peace Out
22.11.2018
Der Black Friday ist da. Eine Übersetzerin und ein Redaktor berichten aus dem War Room des Engineerings, wo sicher gestellt wird, dass die Server halten. Bisher sieht die Sache gut aus.
Redaktor Dominik Bärlocher und Übersetzerin Anne Chapuis berichten live aus dem War Room des Engineerings während des Black Friday, so lange die Server halten.
Das Engineering gibt Entwarnung. Wir haben den Tag gestemmt. Aktuell verzeichnen wir wieder einen Peak, aber der ist noch weit davon entfernt, irgendwen im War Room, in dem mittlerweile Musik läuft, zu beunruhigen.
Daher: Wir übergeben an die Leute vom Shop. In Zürich sind gerade drei weitere Lastwagen angekommen, in Winterthur sind über 700 Artikel angeliefert worden.
Aus dem War Room können wir abschliessend eines sagen: Die Server haben gehalten.
Wir verabschieden uns. Danke für die Aufmerksamkeit, die Kommentare und vor allem die Flachwitze. Wir schlagen uns gerne wieder mit dir und dem Rest der Community eine Nacht um die Ohren. Bis zum nächsten Mal.
Zum Schluss noch etwas um den Kantönligeist anzukurbeln. Bei digitec haben sich die prozentual höchsten Rabatte die Appenzell Ausserrhodener gesichert, während es bei Galaxus die Schwyzer waren. Gratulation!
Peace Out.
23.11.2018 // 14:15 – Ein Blick ins Postfach des Customer Care
News aus dem Customer Care in Zürich. Gestern Nacht um 23.55 Uhr waren noch 150 Mails im Postfach des Kundendienstes. Um 01:45 Uhr waren es bereits 450. Die meisten Mails haben damit zu tun, dass die Bezahlung nicht abgeschlossen werden konnte.
Quelle: Michael Smith
Damit das Team um Michael Smith mit der Flut an E-Mails klar kommt und so vielen von euch helfen können, wie möglich, hat der Kundendienst heute Morgen eine Stunde früher mit der Arbeit begonnen. Bis zum Mittag haben es unsere Representatives geschafft, auf 65% des normalen Tagesvolumen zu kommen. Erste Auswertungen von 444 Chats ergeben, dass die Kunden zu 98% zufrieden mit dem Kundendienst sind.
Gratulation!
23.11.2018 // 13:45 – Features kommen wieder online
Gestern Nacht, kurz vor Mitternacht, haben wir einige Features abgeschaltet, die viel Rechenkraft benötigen. Mit den «zuletzt besuchten Produkten» geht eines der letzten abgeschalteten Features wieder online. Das Engineering ist sich sicher: Die Server halten das aus.
23.11.2018 // 13:35 – Der Shop in Wohlen meldet sich
Im Shop in Wohlen läuft es noch gemütlich. Das wird sich aber gegen Feierabend wohl noch ändern.
Quelle: Katja Röthlisberger
23.11.2018 // 13:30 – Ein Blick ins Lager Wohlen
Aus Wohlen hat uns gerade folgendes Bild aus der Verpackungsabteilung erreicht.
Quelle: Luca Penta
23.11.2018 // 13:25 – Bern nimmt's nicht gemütlich
News aus der Bundesstadt: Die Berner Filiale ist voll besetzt und steht unter Dampf.
Quelle: Alkeos Varouxis
23.11.2018 // 13:15 – Winterthur hat volle Regale
Der Shop Winterthur meldet, dass die Regale voll sind, die Kunden ein- und ausgehen und alles reibungslos abläuft.
Quelle: Sascha Zollinger
23.11.2018 // 13:10 – Stückzahlen
News aus dem Produktmanagement bezüglich der Stückzahlen der Angebote am Black Friday. Die Leute aus dem vierten Stock der Pfingstweidstrasse sind mit Herstellern und Lieferanten im steten Gespräch, mehr Ware anbieten zu dürfen.
Der vierte Stock grüsst, übrigens.
23.11.2018 // 11:45 – Eine halbe Million zum Zmittag
Digitec Galaxus gibt selten Zahlen raus, aber wenn, dann staunen wir sogar intern. Kurz vor 10 Uhr morgens haben wir die Grenze von 500 000 Besuche auf digitec.ch und galaxus.ch überschritten. Wir danken.
Und ja, die Server halten durch. Die halten sogar so gut durch, dass wir jetzt Mittagspause machen. Apropos: Die Kollegen von der Galaxus-Redaktion servieren vor dem Shop Zürich Raclette. Gratis.
En Guete.
23.11.2018 // 11:25 – Zürich gibt sich die Ehre
Im Shop Zürich stehen dir Women and Men in Black gegenüber. Stilsicher mit Fliege, versteht sich.
23.11.2018 // 10:55 – St. Gallen meldet sich
St. Gallen ist auch schon an der Arbeit.
Quelle: Simona Portmann
23.11.2018 // 10:40 – Dietikon lässt grüssen
Die Shop Crew aus Dietikon hat alle Hände voll zu tun. «Ist schwierig, heute alle auf ein Bild zu kriegen», sagt Shop Manager Aleksandar Jelic.
Quelle: Aleksandar Jelic
23.11.2018 // 10:35 – Génève operational!
Die Kollegen aus Genf stehen bereit und grüssen aus der Westschweiz.
Quelle: Mario Yanez
23.11.2018 // 10:30 – Basel, Reporting in!
Der Shop Basel meldet, dass sie ready sind. Die erste Lieferung ist da und die Stimmung gut.
Quelle: Riccardo Spataro
23.11.2018 // 10:05 – Die erste Lieferung ist angekommen
Im Shop Zürich ist kaum mehr ein Durchkommen. Die erste Lastwagenlieferung mit Bestellungen ist eingetroffen.
Ferner, ein paar Worte aus dem Engineering zum Thema «Ich habe bestellt, Geld ist abgebucht, aber keine Bestellung in meinem Profil»: Das Phänomen betrifft einige hundert Bestellungen. In den meisten Fällen ist die Bestellung gecancelled worden, da die User in kurzer Zeit mehrfach versucht haben, zu bezahlen. Da dies dazu führen kann, dass beim Kreditkarteninstitut der Betrugsschutz aktiviert wird.
23.11.2018 // 09:35 – Peak? Welcher Peak?
Historisch gesehen verzeichnet der War Room des Engineerings eine hohe Auslastung um etwa 9 Uhr. Heute aber nicht. Heute wird gescherzt: «Wir müssen zuerst die Server runterskalieren, bevor wir einen Peak sehen.»
Die Donuts sind übrigens ausgegangen.
23.11.2018 // 08:15 – Etwas Statistik
Die Nacht ist überstanden, doch der Tag wird hart. Die Schnäppchenjäger haben ihre Beute gemacht, jetzt kommen all jene, die nicht in der Nacht aufstehen wollten. Zum Zmorge etwas Statistik aus der Nacht:
- Total Downtime: Knapp 4 Minuten
- 502-Fehlermeldungen total: 12 000
- Vom 502-Error Betroffene, die ihr Schnäppchen nicht gekriegt haben: 400
Die Zahlen sind stark vereinfacht, zugegeben, denn die technologischen Hintergründe sind da etwas komplexer, aber die 502-Krise war gar nicht so arg, wie wir angenommen haben.
Die Nachtschicht hat an die Tagschicht übergeben. Diese Schicht wird von René Zweifel geleitet. Er lässt grüssen.
23.11.2018 // 02:55 – Gute Nacht!
Anne und ich melden uns für die Nacht ab. Wir sind ab so ungefähr 7 bis 8 Uhr wieder da und berichten von der Nacht. Wir glauben aber nicht daran, dass noch gross etwas passieren wird.
23.11.2018 // 02:36 – Keine AirPods mehr
Tja, da gingen sie dahin, die 200 AirPods. Sie sind ab Morgen auf dem Weg zu ihren neuen Ohren.
23.11.2018 // 02:34 – AirPods funktionieren wieder
Wir haben einen Fehler in der Datenbank behoben, der Bestellungen verhindert hat. Wenige Sekunden später war die PlayStation ausverkauft und die Anzahl AirPods wieder korrekt.
23.11.2018 // 01:55 – «Kauft eine XBox»
Die Datenbankprobleme, so die aktuelle Theorie, kommen daher, dass viele Kunden gleichzeitig das gleiche Produkt kaufen wollen. Aktuell betrifft das AirPods und die PlayStation.
Der Rat aus dem Engineering: «Kauft eine XBox, dann beruhigt sich die Lage wieder», gefolgt von Gelächter.
23.11.2018 // 01:45 – Erste Hotfixes werden ausgerollt
Die Datenbank macht etwas Mühe. Sie läuft zwar stabil und alles, aber wir sind nicht ganz mit ihrer Performance zufrieden. Die Engineers sind ambitioniert. Sie wollen nicht nur, dass der Shop läuft, sie wollen, dass er gut läuft.
Die 502-Probleme beim Checkout bleiben aber bestehen, da sie nicht nur von uns abhängen.
23.11.2018 // 01:18
Im Live Stream hat mich Sandro gebeten, schnell folgenden Text von mir zu verlinken.
23.11.2018 // 01:00 – Wir sind wieder online
Die Downtime ist vorbei. Sie hat plusminus eine Minute gedauert. Der Grund: Ein Failover. Wir sind wieder da.
23.11.2018 // 00:57 – Wir sind down
Wir sind down. Gründe unbekannt. Wir arbeiten dran.
23.11.2018 // 00:41 – Apropos Zahlung
Die Community meldet, dass die Website Errors 502 auswerfen. Das bedeutet, dass ein Server ein Time Out meldet beim Zahlungsvorgang. Das kommt vor, wenn zu viele Bestellungen gleichzeitig ins System kommen. Entweder unseres oder das des Kreditkarteninstituts.
Bitte dokumentiere das alles für einen allfälligen Garantiefall und versuche es mit einer anderen Zahlungsart nochmal. Fraud Protection sollte im Regelfall greifen, aber sicher ist sicher.
23.11.2018 // 00:24 – Erste Ausfälle, kein Problem
Die ersten Scripts im System sind abgestürzt. Zudem ist Twint offline. Bitte wähle eine andere Zahlungsmöglichkeit.
Die abgestürzten Scripts werden natürlich neu gestartet. Aktuell herrscht keine Panik.
23.11.2018 // 00:00 – Die Server stehen!
Und wir haben es doch gesagt! Die Server stehen. Wir arbeiten zwar mit rund 600% Systemleistung, aber wir stehen.
Zwei von 30 Servern melden Schwierigkeiten. Wenn du auf einem dieser Server gelandet bist, dann ein F5.
Aber die Systeme halten. Aufatmen.
22.11.2018 // 23:51 – Der Live Stream ist online
Thierry Pool und Sandro Hostettler streamen die Ereignisse der Nacht live. Den Stream findest du auf Facebook
22.11.2018 // 23:45 – Die Kriegshymne
Let's Dance!
22.11.2018 // 23:35 Uhr – Letzte Instruktionen
Stefan Müller hat gerade letzte Instruktionen gegeben. Nicht notwendige Features auf der Website werden abgeschaltet, Serverkapazitäten an Shop Features abgetreten.
«Es ist langweilig», sagt einer kurz nach dem Stand Up Meeting. Ein Lachen geht durch die Runde.
Die Antwort: «Hoffen wir, dass es so bleibt.»
22.11.2018 // 23:15 Uhr – Server Load? Was für eine Server Load?
Ihr seid ungeduldig. Wir hatten kurz 70% Serverlast.
Problem? Gelöst! Team BlackJack verzeichnet einen ersten Erfolg.
Si vous souhaitez lire l’article en français, c’est par ici.
22.11.2018 // 23:10 Uhr – Die Redaktion steht
Anne und ich sind eingerichtet und die erste Runde Koffein ist durch. Es wird langsam ruhiger hier drin.
Die letzten Dashboards werden angepasst, die Server laufen noch stabil.
Der Flachwitz-Thread unten aus der Kommentarspalte wird übrigens gefeiert.
22.11.2018 // 22:40 Uhr – Das Engineering steht bereit
Das erste Briefing ist vorbei. CTO Stefan Müller hat gerade die Engineers aus allen Teams ein erstes Briefing gegeben. Von Rollenverteilung bis hin zu Verpflegung ist alles geregelt.
Die Server halten noch. Da und dort sehen wir bereits Auffälligkeiten, aber noch nichts, das uns beunruhigt. Die Stimmung ist locker.
«Ist noch lustig: Die Ergebnisse der Umfrage ergeben nicht 100%», sagt Stefan Müller.
Kurz: Das Engineering ist bereit.
22.11.2018 // 11:00 Uhr – Die Ankündigung
Es ist der anstrengendste Tag des Jahres für die digitec-Server und die Engineers, die sie tagein, tagaus warten und updaten: Der Black Friday. Kein anderer Tag sieht so viele User wie dich gleichzeitig auf der Seite, so viele Bestellungen und so viel Traffic. Kurz: Du und die ganze Community prügeln während 24 Stunden auf unsere Server ein.
Dem will ein Team aus allen Ecken des Engineerings entgegenkommen. Sie werden heute ab 22:00 Uhr Stellung an der Pfingstweidstrasse beziehen und der Dinge, die da kommen mögen, harren. Geleitet wird das scherzhaft «War Room» genannte Pikett-Detachement von Team BlackJack. Ihre Hauptaufgabe ist das Site Reliability Engineering. «Wir sorgen dafür, dass die Seite möglichst lange, möglichst verlässlich steht», fasst Teamleader René Zweifel das kurz zusammen.
Die digitec-Redaktion wird dabei sein und soweit möglich live aus dem War Room of Engineering berichten. Wenn sich die Engineers pushen, dann macht das die Redaktion auch. Mir zur Seite steht Translatrice Extraordinaire Anne Chapuis, die unseren Bericht möglichst simultan auf Französisch übersetzen wird. Wir hoffen, dass die Server halten, denn sonst haben wir uns die Nacht vergebens um die Ohren geschlagen.
Eine erste Anfrage bei Team BlackJack liefert Galgenhumor: «Vergangenes Jahr sind die Server innerhalb von 17 Sekunden offline gegangen. Mit all unseren Performance Updates sind wir überzeugt, dass wir das in unter einer Sekunde schaffen.»
Halten die Server?
Die digitec-Server werden am Black Friday auf die Probe gestellt. Was meinst du, halten sie?
- Ja24%
- Nein31%
- Ich mag Delfine45%
Der Wettbewerb ist inzwischen beendet.
Journalist. Autor. Hacker. Ich bin Geschichtenerzähler und suche Grenzen, Geheimnisse und Tabus. Ich dokumentiere die Welt, schwarz auf weiss. Nicht, weil ich kann, sondern weil ich nicht anders kann.
Computing
Folge Themen und erhalte Updates zu deinen Interessen
509 Kommentare
later