5Q Quadrants·of·Risk

风险登记册 · 条目

Q3 · 工程化

Meta 全球宕机

一条骨干网指令,把 Facebook 从全球互联网上抹除。

紧密耦合的系统:一个小故障层层传导,最终让整台机器停摆。

象限
Q3 工程化
年份
2021
影响
6小时
行业
互联网
地区
全球
类别
技术

为什么是这个象限

一条指令撤回了通往 Facebook 数据中心的 BGP 路由,而专门为拦截这类指令而建的审计工具本身有一个缺陷。由于骨干网、DNS 和楼宇门禁都跑在同一张网络上,一次路由错误在不到二十分钟内变成了全球性中断。让它持续六小时的,恰恰是那些加固措施。工程师进不了大楼,DNS 服务器又把自己撤了出去。

记录在案

  • 中断时段:2021 年 10 月 4 日世界协调时 15:39 至大约 21:28,约 6 小时确定
  • 当天(周一)Facebook 股价收盘下跌约 4.8% 至 5%,市值蒸发约 470 亿美元确定
  • Mark Zuckerberg 的个人财富当日缩水约 59 亿至 70 亿美元很可能
  • 《财富》估算:中断期间 Facebook 损失广告收入约 6,500 万至 1 亿美元不确定
  • Standard Media Index 的保守估算:损失广告支出约 330 万美元不确定
  • NetBlocks 估算:六小时内全球经济损失约 10 亿美元不确定
  • 中断期间,Cloudflare 的 1.1.1.1 解析器看到 DNS 查询流量飙升至平时的约 30 倍确定
  • 当时印度估计有 1,500 万家以上小微企业在使用 WhatsApp Business,该市场的 WhatsApp 用户总数为 3.9 亿很可能
  • Meta 给出的根本原因:一条例行的骨干网容量审计指令错误地撤回了通往 Facebook 数据中心的全部 BGP 路由;本应拦下该指令的审计工具因存在缺陷而未能拦截确定

来源

  1. Meta Engineering
  2. Cloudflare Blog
  3. Fortune
  4. NPR

通讯

每周一则风险故事,像这一则一样被拆开:什么是已知的,什么被忽视了,以及它真正属于哪个象限。

不发垃圾邮件,每周一封。