超算服务器需要什么配置？

当我们在聊“超算服务器”时，到底在聊什么配置？

这事儿得从头捋，你可能跟我一样，第一次听到“超算服务器”这个词，脑子里蹦出来的画面是《三体》里的“古筝行动”，或者是影视剧里那种一排排闪着蓝光、嗡嗡作响的金属柜子，然后心里琢磨：这东西，到底得装个什么样的CPU？多少G的内存？是不是得插上一百张RTX 4090？

停，先别急着按攒游戏PC的思路去想，超算服务器的“配置”，跟你我电脑桌上的那台玩意儿，完全是两个物种，如果你真拿攒电脑的思路去采购或理解超算，你会发现，钱烧完了，活儿可能还干不成。

核心不是“多强”，而是“怎么连”

如果非要说超算服务器最核心的配置是什么，我会毫不犹豫地告诉你——不是CPU，不是GPU，更不是内存条，而是“网络”。

你可能觉得我在故弄玄虚，咱们解构一下，一台超算，本质上是一个庞大的“计算机集群”，成千上万台普通的服务器（我们管它叫“节点”）被连接在一起，去干一件单台电脑干不了的事，比如模拟全球气候变化、破解蛋白质结构、或者训练一个能和你聊天的AI大模型。

这时候你想想，如果这1万个节点都是肌肉壮汉，但让他们干活时，信息传达靠吼，或者靠飞鸽传书，他们会怎么样？会混乱、会互相拉扯、大部分时间会浪费在等待队友的指令上，超算的瓶颈就在这里，CPU和GPU运行一次计算的时间，可能只需要零点几纳秒，但如果数据从这台机器的显存传输到旁边那台机器的内存，需要花费几毫秒，那计算核心就得干等着，利用率可能连10%都不到。

超算服务器的第一个、也是最重要的配置，是高速互联网络，这不是你家路由器上的网线，它通常是InfiniBand或者OmniPath这样的超级网络，一块InfiniBand网卡的价格，可能就比你家整台电脑都贵，光一个交换机，就是一套房子的价钱，它负责让成千上万个计算节点之间的通信延迟，从微秒级别降到微秒甚至纳秒级别，评价一台超算，PFLOPS（每秒千万亿次浮点运算）算力固然是面子，但网络拓扑和带宽，才是里子。

计算节点：CPU、GPU和那颗特别的“协处理器”

聊完基础网络，我们再看单个的“计算节点”，也就是一台台单独的服务器。

CPU —— 别想歪了，你买不到那种牛逼的桌面级i9或R9，超算的CPU通常是高核心密度的，比如AMD的EPYC（霄龙）系列，一颗就有64核甚至128核，英特尔至强也有56核、60核的，为什么堆这么多核？因为超算的任务大多可以“并行化”，就像400人一起拉车，比4个人轮流拉效率高得多，但要注意，这些CPU的主频通常不高，甚至不如你的游戏本，因为“高主频”意味着高功耗、高热量，在机房那种动辄几千节点的环境下，省电和散热是第一位的，超算CPU一般运行在2.x GHz，但靠着核心数量优势，在吞吐量上碾压一切。

GPU —— 这个大家就熟悉了，英伟达的A100、H100、B200，AMD的MI300X，在当代的超算里特别是AI超算里，GPU几乎就是计算的主力，但同样，不能只看显存和FP32算力，比如H100，它有“HBM3高带宽显存”，显存带宽能到3.35TB/s，是普通DDR5内存带宽的几十倍，而且它还内置了专门加速Transformer模型的Transformer Engine（变压器引擎），配置GPU不是看买了多少张卡，而是卡与卡之间的互联带宽（NVLink、NVSwitch），以及GPU与CPU之间的PCIe通道数量，如果拿GPU做AI训练，但卡与卡之间只用千兆以太网连，那这配置基本就废了，训练速度还不如一台卡多点的家用机。

除了CPU和GPU，现在还有一个东西越来越热——DPU（数据处理器），你可以把它理解成一颗“网络处理器”，专门负责从CPU那里接管网络、存储、安全等“杂务”，让CPU能专心算数学题，英伟达的BlueField系列就是典型，一台超算节点，可能是由 CPU+GPU+DPU 三种芯片协同工作的。

存储：不止是硬盘，是“三层立体仓库”

你可能会想，超算的硬盘是不是得10个NVMe RAID 0？别急，超算的存储配置是分层的。

1、计算节点的本地存储：通常是NVMe SSD，容量不会太大，可能就几百G到一两T，这里存的是“即将要计算的数据”或“刚刚计算完的临时结果”，速度要快，延迟要低，相当于你工位上的那个小抽屉。

2、共享文件系统（并行文件系统）：这是超算的“大脑仓库”，所有节点都必须能同时、高速地访问这个仓库，硬件通常是Lustre、GPFS等文件系统跑在专门的存储服务器上，使用HDD（机械硬盘）+ SSD缓存的组合，容量可能是PB级（1PB=1024TB），这是真正存放海量数据（比如地震勘探数据、基因测序数据、训练数据集）的地方，无论你坐哪个节点，都能读写这份数据，但你不能存太快，因为它是给成千上万个节点同时用的。

3、归档存储：数据存久了，不需要天天调用了，就放到磁带库或慢速HDD里，价格便宜，容量极大（EB级，1EB=1024PB），相当于你家的地下室或银行保险柜。

问“超算配什么硬盘”时，你得问清是问哪个层级的，如果你只给配了1TB NVMe，没有共享的并行存储，那这台超算就是一盘散沙，各节点只能单打独斗，没法协同攻坚大项目。

散热与供电：看不见的“水电煤”

也是最容易被忽略、但实际最头疼的配置：散热和供电。

家用电脑，一个百来瓦的风冷散热器就搞定了，但超算节点，一个CPU可能就是350瓦，一个GPU H100直接700瓦，一台1U的服务器功耗可能要3-5千瓦，几千个节点排在一起，那个发热量，就像你的卧室里放了100个电暖气。

机房需要全功率的空调系统——通常是列间空调、背板式液冷，甚至浸没式液冷（直接把服务器泡在绝缘冷却液里），这空调的功耗本身就不是个小数目，NVIDIA的DGX H100超算，光散热系统本身的功耗，可能就顶得上一栋居民楼的用电。

供电也是同理，市电进来要经过UPS（不间断电源）、PDU（电源分配单元），再分发给每台服务器。电力容量和冗余设计是硬性指标，否则，一场闪电导致瞬间停电，几百个科学家算了一个月的模拟数据，可能就灰飞烟灭了。

给你一张“听得懂”的配置单

我相信看到这里，你已经快晕了，用一个简单的例子总结一下：

如果有个外行朋友让你“配一台能算天气的超算”，你会这么回他：

> “兄弟，这台‘电脑’没有‘一张’配置单，你要看的不是单个CPU的主频或单张显卡的显存，而是整个系统的配置：

> 第一，网络用HDR200的InfiniBand，端到端延迟小于1微秒；CPU用128核的AMD EPYC Turin，主频2.5GHz就可以，因为跑并行模式，核心多比主频重要；GPU用H100 NVLink，8张卡一组，通过NVSwitch连接，显存带宽打满；内存配HBM3e，1.2TB/s带宽；本地存储用4个U.2 6.4TB NVMe；共享存储配10PB的Lustre文件系统，由HDD+NVMe缓存组成，读写带宽能达到200GB/s；散热用液冷背板，COP（能效比）做到5.0以上；供电双路冗余，每路支持500kW。

> 好了，上面这堆‘配置’，你只要拿给专业系统集成商，他们看了绝对会说一句‘内行’，如果你非要问我这套得多少钱，嗯…大概可以在你所在城市买三栋楼吧。”

最后想说的

超算服务器的配置，与其说是“买硬件”，不如说是在“设计一个生态系统”，CPU、GPU、网络、存储、散热、供电，每一环都是木桶上的一块板，任何一块过短，都会导致整个系统性能被“木桶最短那块板”锁死。

以后当你看到“天河某某号”的新闻，或者哪个公司发布了“E级超算”，想吹牛的时候，别说“哇，他们用的CPU真猛”，你可以这样说：

“配置嘛，重要的不是CPU多猛，而是他们怎么把上万个CPU/GPU秒级连通，那是真的系统工程。”

这就很专业了。

文章摘自：https://idc.huochengrm.cn/js/27557.html