2350亿参数大模型本地运行！开发者7千欧捡漏双GH200超算服务器

12月12日，AI开发者David Noel Ng近日分享了一次令人惊讶的硬件交易经历。他以7千欧元（约合人民币5.8万元）的价格购得一台搭载双NVIDIA GH200超级芯片的二手AI服务器。按市场行情估算，这套配置全新的系统价值超过8万美元（约人民币56.44万元），其中单块NVIDIA H100芯片的市价就已达到3至4万欧元。

该服务器的硬件规格极为高端，配备两颗NVIDIA Grace-Hopper GH200超级芯片，每颗集成72核ARM架构CPU与480GB LPDDR5X内存，同时搭载Hopper架构H100 GPU及96GB HBM3显存，通过NVlink C2C技术实现高达900GB/s的互联带宽。此外，系统还包含3kW电源模块以及双PCIe Gen4 M.2插槽（支持22110/2280规格）。

据原卖家透露，低价出售的主要原因在于设备存在使用限制：该机器曾由液冷系统改装为风冷，且因结构改动无法适配标准服务器机柜，导致维护困难。尽管如此，David仍决定亲自驱车前往查验设备，并在确认卖家可信后完成交易。

收货后，他投入大量时间进行修复工作，包括全面清洁、恢复原有的水冷散热配置，并更换了一个引发服务器频繁宕机的故障温度传感器。经过一系列调试，系统最终稳定运行。

修复完成后，设备性能表现令他极为满意。如今他可在本地运行参数规模高达2350亿的大语言模型，而整体投入成本甚至低于当前单块H100显卡的市场价格。更值得庆幸的是，由于近期内存价格持续上涨，这台机器所搭载的960GB LPDDR5X内存的现行市场估值，已超过他购买整机所支付的金额。