数据中心的浪浪山

2023-01-18
天津
本文字数：3786 字
阅读完需：约 12 分钟

2023 开年，浪浪山的一只小猪妖火出了圈，在《中国奇谭》这部国漫的第一个单元中，小猪妖踌躇满志，想要做出一番事业，结果费尽千辛万苦，自己的工作成果却被否定，然后，小猪妖说出了那句经典台词“我想离开浪浪山”。

小猪妖的遭遇，戳中了当代打工人的隐痛，也像极了数据中心里那些鲜为人知，又百抓挠心的困境。

近年来，我们能够在很多论坛、峰会、发布会商听到一些高瞻远瞩、提纲挈领的话，比如“计算力就是生产力”、“数字经济的基础设施”、“上云用数赋智”等，这些宏观层面的趋势、路线支撑着云数据中心、智算中心等计算集群的快速发展，我们也在此前的文章中分析过很多。

不过，实际建设过程中，会面临这样那样的具体挑战，可能是坐在办公室/研究所，对着 PPT 指点江山的人很难想象的。

比如西部某高校中计算中心的一个女工作人员曾告诉我，服务器散热主要靠风冷，维持降温会加大送风风力，她们女员工进机房都是没法穿裙子的；机房内的噪音很大，常年负责运维的同事，听力也受到了损害。

这些细节而真实的难题，构成了数据中心必须翻越的浪浪山，否则就会像小猪妖一样疲惫且做无用功，而这些问题，只能从扎根在脚下的土地中来，从与一线人员交流中来。今天我们就结合一些实地见闻来聊一聊，数据中心正在等待翻越哪些山峦。

第一重山：电

谈到数据中心的中美差异，你会想到什么？芯片、架构、软件、产业链？有一个容易被忽略但很重要的因素是：供电。

益企研究院自 2018 年来实地考察了多个国内云数据中心，发现 2 路 2U 是国内服务器市场上的主流规格，IDC 的服务器市场追踪报告也证实，2018—2021 年，机柜式服务器中 2U 规格占据了 70%左右。然而，美国市场上，1U 反而更受欢迎。

1U 和 2U 究竟是什么？到底是什么原因导致了这种差别？又意味着什么呢？

（中国电子信创云基地（顺义）机房的 2U 服务器）

我们知道，随着 IT 设备技术的变化，现代数据中心采用的服务器高度一般为 1U 或 2U，U 指的是机架式服务器的厚度，1U 是 4.45 厘米，而早期数据中心的机架式服务器高度一般在 3-5U。

U 的数字越少，服务器高度越低，单机计算密度越高，1U 服务器的计算密度可以达到 2U 服务器的两倍。然而，东数西算工程中对数据中心集群的要求，京津冀、长三角、粤港澳大湾区、成渝这几个枢纽节点都强调了“高密度”。因为只有密度更高，才能在有限的土地面积上供给更多的算力，提高土地资源效益。

这样看，1U 应该是更好的选择，但实地走访得到的结果，却是 2U 规格在中国云数据中心的占比较多，这是为什么呢？这里有一个决定性因素——供电能力。

因为 1U 比 2U 更耗电，支撑约 18 台 2U 服务器的单机柜供电量需要达到 6kW，如果换成部署 36 台 1U 服务器，那供电量就要达到 12kW。如果单机柜的供电能力达不到，就无法充分发挥 1U 的密度优势。

（和林格尔东方超算云数据中心内景）

而目前，我国数据中心的机柜功率还是普遍偏低的，主流功率以 4-6KW 为主，“东数西算”工程的宣传中，甚至还可以看到“2.5 千瓦标准机架”的配置，6kW 以上的机柜占比只有 32%。

数据中心的供电系统，既有旧疾，也有新患。旧疾在于，传统数据中心的各个机电系统分别运行，采集精度不足，调控范围也有限，供电能力和 IT 需求无法精细化对等，一旦单机柜功率密度加大，电源连续运行的可靠性就可能受到影响，发生停机中断的风险也会增大。对于云服务商来说，云数据中心断电会直接导致客户业务终端，带来经济损失，这是不可承受之重。

新患在于，国家提出“双碳”战略后，建设绿色节能数据中心已经成为共识，而单机功率密度的增加，会直接提高制冷要求，从而增加空调设备和空冷用电。以 2021 年数字中国万里行考察过的云数据中心为例，腾讯云怀来瑞北数据中心使用 52U 机柜，UCloud（优刻得）乌兰察布云基地使用 47U 和 54U 的机柜，如果都改用 1U 服务器，不仅不能真正提高密度，反而会增大服务器散热设计的挑战。

已知数据中心必须提高计算密度，那就要提高单柜密度，单机柜功率需要更高可靠、高可用的供电能力来保障，因此可以得出，供电能力接下来会是中国数据中心必须翻越的一重山。

第二重山：冷

前面提到，机柜功率密度的提升，会让制冷用电上升。可能有机智的小伙伴会问，采用更高效节能的制冷方式，不就可以解决这个问题，顺利向高密度进化了？

确实如此，数据中心行业为了更加节能的制冷系统，可谓是操碎了心。一方面是加速“西算”，充分发挥乌兰察布等西部地区的气候优势，建设新数据中心，利用室外自然冷源。“数字中国万里行”实地考察了 7 个数据中心集群，发现张家口数据中心集群、和林格尔数据中心集群的数据中心，一年有 10 个月以上的时间可以使用自然冷源，年均 PUE 可达 1.2。

另外就是发挥液体冷却在降低能耗上的优越性，逐步用液冷服务器替代风冷。比如阿里巴巴 2018 年在河北省张家口市张北县部署了一个浸没式液冷（Immersion Cooling）机房，一个卧置的 54U 机柜，部署 32 台 1U 双路服务器和 4 台 4U 的 JBOD。开篇我们提到，风冷机房给女员工着装上带来的小困扰，液冷技术就能很好地解决这个问题。

这是不是意味着，液冷技术很快会在数据中心行业普及呢？结束 2021 年数字中国万里行后，益企研究院推出的《2021 中国云数据中心考察报告》，给出了“谨慎观望”的答案。

我们认为，原因有三：

1.成熟期的生态问题。

液体冷却虽然制冷效率远高于风冷，但长期以来，风冷机房在数据中心建设中占据了主流，几十年一贯制的风冷服务器已经形成了成熟的生态链，建设和运营成本都有优势，因此一些气候优越的地区，风冷方案就可以满足降 PUE 的需求，比如华为乌兰察布云数据中心就以 8 千瓦的风冷机柜为主。此外，在一些东部中部地区有引入液冷的需求和意愿，但也要考虑成本，如果能够通过优化 UPS 架构，采用智能化能效管理方案等，取得显著的节能效果，那么能风冷就风冷。

2.过渡期的技术问题。

当然，对于 HPC、AI 等计算，采用液冷的优势很大，因此也有一些公司希望尝试液冷技术，但又不想改造风冷机房，于是从风冷升级到液冷的过渡期，出现了“风液混布”的市场需求。

我们知道，风冷服务器可以与制冷设备松耦合，环境适应性、灵活度很高，而浸没式液冷需要将服务器的板卡、CPU、内存等发热元器件完全浸没在冷却液中，喷淋式液冷则需要对机箱或机柜进行改造，二者带来的成本都比较高。过渡期中，冷板式液冷与风冷混合使用，是比较适合的方案。但是，冷板式液冷要将冷板固定在服务器的主要发热器件上，依靠流经冷板的液体将热量带走，全密封和防泄漏要求高，设计和制造难度很大。

（华为云东莞松山湖数据中心部署的 Atlas 900 集群，采用风液混合技术散热）

3.产业链的协作问题。

液冷数据中心需要产业链上下游的协同创新，包括制造、设计、材料、施工、运维等各个环节。风冷模式也正因为松耦合，导致制冷行业和数据中心行业是比较割裂的，推动数据中心向液冷变革，必须要构建一个新的生态，加强各角色的联系，降低液冷服务器的前期制造成本和后续维护成本。这需要一个多方磨合、配合的过程，不是一朝一夕能够实现的。

从这些角度来看，液冷数据中心虽然是大势所趋，但还有较长的路要走，整个行业都在持续关注变化。

第三重山：芯

如果说供电效率、风冷液冷，是云数据中心机房基础设施的重要变化，那么芯片可能就是 IT 基础设施的重点关注对象。

2021 年，由安谋科技独家冠名赞助的数字中国万里行，在考察贵州、内蒙古乌兰察布、和林格尔期间发现了一个新的现象——中国“芯”力量正在崛起，国产技术的成熟度和应用程度正在提升，追赶主流。阿里云的倚天 710、AWS 的 Graviton、Ampere 的 Altra 等，都获得了长足的发展与应用。

造成这一局面的原因很多，比如云全栈走向自主化，为中国“芯”提供了市场支撑；政务、金融、交通、电力、制造等行业的数字化加快，为中国“芯”提供了应用落地场景；x86 与 Arm 并存，为中国“芯”基于新架构进行定制和优化提供了研发基础。

但必须指出的是，月亮都有暗面。中国“芯”崛起的背后，也要看到中国半导体领域还艰难中探索。

首先，是制程工艺的枷锁。我们知道，摩尔定律的延续是基于制程工艺的推进，然而半导体制程工艺的提升已经触达天花板很久了，跟不上芯片规格提升的速度。所以，云数据中心开始采用“堆 CPU”的做法来提升机柜密度，但是靠堆料带来的性能提升是有边界的，不能止步于此。

于是后摩尔时代，小芯片（Chiplet）开始被很多国产芯片厂商选中。这种新的芯片设计模式，可以把多个硅片封装在一起，组成一个芯片网络，x86 和 Arm 生态系统都在采用这项技术。但需要注意的是，目前的 IP 重用方法中，对 IP 的测试和验证已经有比较成熟的方法，但多个 Chiplet 封装后如何测试、良率怎么保证，还是中国“芯”必须解决的问题。

更主要的是，小芯片的封装依靠先进的封装技术，芯片 I/O 接口可以和封装协同设计并优化，对于芯片性能的提升非常重要。这就要求先进封装设计与芯片设计有较强的交互性，同时也对设计工具提出了一定的要求，我们知道，EDA 工具一直是我国半导体领域的“软肋”之一，这一点不解决，在 Chiplet 越来越重要的当下，中国“芯”很难高枕无忧。