量化 · 差两度,交易大厅隔壁就洗了个澡:Jane Street 机房的假火警旧事
先给一个数:143.6华氏度,约58.7摄氏度。一屋子服务器的表面温度停在这个数上,距离头顶喷淋头的动作温度只差几度。再往下走,某家顶级做市商的自有机房会在一个普通的晚上,被消防系统整层浇透。
先给一个数:143.6华氏度,约58.7摄氏度。一屋子服务器的表面温度停在这个数上,距离头顶喷淋头的动作温度只差几度。再往下走,某家顶级做市商的自有机房会在一个普通的晚上,被消防系统整层浇透。
这是Michael Bacarella上周在个人博客里讲的旧事。他是Jane Street前系统团队成员,博客发布于十一月十日,HN上四百多个赞的围观里,有一半是在看失效链,另一半是在看这家量化公司的组织文化——两条线索最后拧成同一个结。
故事从一层灰尘开始。某个晚上,承包商在机房隔壁的准备间里切割作业,扬起的灰尘飘进了烟雾探测器。警报响起。接下来发生的事情,按博主的叙述排成一条链:预警系统确认火情后,喷淋管网充入带压的水——注意,喷头本身不会立刻开,每只喷头里有个热敏塞,要等房间烧到约一百五十华氏度才会熔开;与此同时,警报联动切掉了机房的精密空调,理由是循环送风会给火灾喂氧气。
两条线在这里汇合。空调停转,热量开始积压;管网里的水压在头顶,等一个温度阈值。房间在朝一百五十度爬。
发现者不在纽约,在香港。那晚是香港办公室的人碰巧注意到监控屏上一整排服务器的温度曲线在同步抬头——单台报警是没有的,偶尔热一下太正常了。香港拨通了纽约的电话,电话那头是住在一个两百平方英尺开间、步行九分钟通勤的博主本人。他一路狂奔到下城,冲进一楼一栋老金融楼的第三十三层,开始逐排拔电源线。
温度停在143.6度。第二天上午,一切恢复正常。当晚纽约市场早已收市,损失被时间窗口温柔地兜住了。
失效链的每一环都有工程解释,也都值得追问。喷淋采用预警式系统是数据中心的常见选择——管网平时无水,火警确认后才充压,为的就是防误喷;但博客描述的行为是警报一响就充水,属于单联锁设计,双联锁要再加一个条件(喷头熔开)才进水。警报联动切空调这一环,HN上的数据中心从业者表示不典型——精密空调通常只在全屋紧急断电时才停机;也有人反过来指出,空调气流吹过喷头会延迟热敏塞动作,空调一停,喷头反而更快逼近阈值,这条失效链在物理上是自洽的。专业讨论里还补了一句冷知识:真实火灾中通常只有离火最近的一只喷头会开,波及半径约十二英尺,电影里整层齐喷的画面属于雨淋系统,机房不装那个。
有意思的不是失效链本身,是这家公司事后装的东西。博主用OCaml写了个监控程序,每分钟轮询每台Linux服务器的板载温度传感器,按地点算全舰队平均值,均值异常就给系统组发告警。为什么看均值不看单机?单机告警太吵,噪音会淹掉真信号;为什么信板载传感器?因为它是最后一层还可信的遥测——别的监控链路都可能被这次故障波及。为什么用OCaml?那家公司从交易系统到内部工具全写OCaml,作者原话大意是刻意避开了Bash和Perl。
机房为什么贴着交易大厅?博客给了两个理由。一是防谍——服务器里装着交易策略,物理隔离是最笨也最有效的手段;二是拔电源——当一套交易系统失控时,最后的人工兜底措施是跑过走廊、把线拽下来。公司当时在缓慢推进自动化停机开关,而组织里留着一条红线:自动化可以跑,但总得有一根漆成红色、机械连接的拉杆留给人类。这股文化,博主说,来自一位在核潜艇上服过役的合伙人——Bloomberg后来在2026年9月的报道里描述过这位联合创始人的办公室里收藏着战争纪念品。
时间线里有个需要坦白的推论。博客没有给出事件年份,能锁定的只有几块碎片:香港办公室2010年开设;博客结尾说“继续把服务器放在交易大厅隔壁,直到飓风桑迪给了我们一记耳光,那是另一个故事”;而Sandy在2012年10月底登陆纽约。再加上他2026年11月初的前同事Brett Harrison恰好在推上讲“2012年Jane Street如何在办公楼里重塑数据中心”,把事件放在2012年桑迪之前是最合理的推断——推断归推断,别当成博客原文。
还有一处别读岔:标题里的“唯一”指的是这家公司在纽约唯一的机房,不是全公司只有这一间。
故事的后半段有足够的戏剧性。Sandy之后,公司把灾备点挪去新泽西,延迟敏感的交易迁进交易所机房,自有机房时代落幕;今年六月,Jane Street领人参观的得州AI机房装着四千零三十二块GB300、五十六个NVLink机架、约八千公里光纤——当年“办公室里六台戴尔服务器”起家的公司,如今的基础设施预算已经换了一个量级。当年那个OCaml小程序的逻辑倒是一脉相承地活着:全网监控、看均值、信最底层的传感器。
一场假火警没造成损失,却留下一条所有做基础设施的人都该抄走的失效链——系统设计里最危险的不是单点故障,是两个各自正确的决定(防火要断风,喷淋要备水)在同一时刻被同一个信号触发。143.6度停住了。下一次未必停得住。