Risikoregister · Eintrag
Q3 · KonstruiertWeltweiter Meta-Ausfall
Ein einziger Backbone-Befehl löschte Facebook weltweit aus dem Internet.
Eng gekoppelte Systeme, in denen ein kleiner Fehler kaskadiert und die ganze Maschine zum Stillstand bringt.
Warum dieser Quadrant
Ein einziger Befehl zog die BGP-Routen zu den Rechenzentren von Facebook zurück, und das Prüfwerkzeug, das genau diesen Befehl abfangen sollte, hatte einen Fehler. Weil Backbone, DNS und Gebäudezutritt alle über dasselbe Netz liefen, wurde aus einem Routing-Fehler in weniger als zwanzig Minuten ein weltweiter Ausfall. Dass er sechs Stunden dauerte, lag an der Härtung. Die Technikerinnen und Techniker kamen nicht in die Gebäude, und die DNS-Server hatten sich selbst abgemeldet.
Die Aktenlage
- Ausfallzeitraum: 15:39 UTC bis etwa 21:28 UTC am 4. Oktober 2021, rund 6 Stundengesichert
- Die Facebook-Aktie schloss an jenem Montag rund 4,8 bis 5 % im Minus und vernichtete damit rund 47 Mrd. $ an Marktwertgesichert
- Das Vermögen von Mark Zuckerberg fiel an diesem Tag um rund 5,9 bis 7 Mrd. $wahrscheinlich
- Schätzung von Fortune: Facebook verlor während des Ausfalls rund 65 bis 100 Mio. $ an Werbeeinnahmenunsicher
- Konservative Schätzung des Standard Media Index: rund 3,3 Mio. $ an entgangenen Werbeausgabenunsicher
- Schätzung von NetBlocks: rund 1 Mrd. $ Verlust für die Weltwirtschaft über die sechs Stundenunsicher
- Beim Resolver 1.1.1.1 von Cloudflare stieg das Aufkommen an DNS-Anfragen während des Ausfalls auf etwa das 30-Fache des Normalwertsgesichert
- In Indien nutzten zu diesem Zeitpunkt schätzungsweise 15 Millionen oder mehr Kleinunternehmen WhatsApp Business, bei 390 Millionen WhatsApp-Nutzern im Marktwahrscheinlich
- Grundursache laut Meta: Ein Routinebefehl zur Prüfung der Backbone-Kapazität zog fälschlich alle BGP-Routen zu den Rechenzentren von Facebook zurück; ein Fehler im Prüfwerkzeug, das den Befehl hätte blockieren sollen, verhinderte, dass er abgefangen wurdegesichert
Quellen
Der Newsletter
Jede Woche eine Risikogeschichte, auseinandergenommen wie diese: was bekannt war, was ignoriert wurde, und in welchem Quadranten sie wirklich lag.
Kein Spam, eine E-Mail pro Woche.