原贴链接

过去一年我运行了数百个3090/4090 GPU，在服务器设置中扩展消费级GPU方面学到了很多。以下是构建方法：

扩展消费级GPU的挑战

在服务器环境中运行像RTX 4090这样的消费级GPU很困难，因为显卡的外形因素。 最简单的方法：在准系统服务器机箱中使用4090“涡轮”（又名涡轮、2W、被动）卡。但英伟达不喜欢涡轮卡，让制造商生产它们变得困难。技嘉仍提供它们，像Octominer这样的公司为游戏GPU提供改装的2W散热器。预计每个4090要花费2000美元以上。 对于现成的1650美元的4090呢？以下是我们让它工作的方法。

机箱：巨大且完全定制

现成的GPU服务器（通常4U/5U）是为2槽卡构建的，但大多数4090是3或4槽GPU，意味着它们需要更多空间。 我们使用的机箱范围从6U到10U。以下是10U机箱的设置：

  • 一侧放置主板。
  • 另一侧有配电板（PDB）和两层4x GPU。
  • 典型的19英寸服务器机箱给你大约20个PCIe插槽空间，有两行的话每个GPU有5个插槽。可以安装任何4090，但先买薄的。
  • 我们使用一个带有6个高CFM风扇的单风扇组，可保持温度稳定。

如何构建GPU服务器

  1. 连接性和间距：适当的间距很关键，这就是为什么使用PCIe Gen 4转接卡而不是直接将GPU插入主板或背板。把它想象成加密货币挖矿，但通过SlimSAS电缆（SFF - 8654，85欧姆，75厘米或更短）有PCIe Gen 4速度。
  2. 电缆设置：
    • 主板→SlimSAS SFF - 8654→PCIe Gen 4转接卡。

主板：信号完整性是关键

由于信号在多个PCB和电缆上传输，保持信号完整性对避免带宽下降或GPU从总线上脱落至关重要。 两种选择：

  1. 带有SlimSAS适配器的常规主板：
    • 你需要重新驱动器来提高信号完整性。
    • 在此查看选项：[C - Payne](https://c - payne.com/)。
    • 如果GPU靠近CPU，可能不需要重新驱动器，但我还没有测试过。
    • 确保主板支持x8x8分岔。
  2. 带有板载SlimSAS端口的主板：
    • 华擎提供带有内置SlimSAS端口的主板（例如，ROME2D32GM - 2T有19个SlimSAS端口，ROMED16QM3有12个）。
    • 确保为薄型（LP）或常规SlimSAS端口获取正确的连接器。我们从10GTek采购电缆。

PCIe通道分配

根据你的设置，你将以x8或x16 PCIe通道运行8x GPU：

  • 每个卡全x16将消耗128个通道（16x8），这使得任何单插座系统对于x16不可行。
  • 如果你使用华擎Rome2D32GM - 2T主板，你将有3个额外的SlimSas端口。我们的设置包括4个U.2 NVMe驱动器托架（每个使用2个端口）和一个用于网卡的备用端口。（每个NVMe驱动器x4 PCIe通道） 对于高速网络：
  • 双端口100G以太网卡需要x16通道，这意味着你需要移除一些NVMe驱动器来支持这个。

为服务器供电

电源设置使用配电板（PDB）来管理多个电源：

  • 一个8x 4090服务器在满载时消耗约4500W，但峰值可能超过这个值。
  • 保持负载低于80%以避免崩溃。
  • 为每个服务器使用30A 208V电路（这对于每个机架4个10U服务器和4个30A PDU非常有效）。

BIOS设置

至少确保检查这些BIOS设置：

  • 确保PCIe端口设置正确（x16将两个端口合并为一个）。x4用于NVMe驱动器。如果使用SlimSas适配器则为x8x8（也可以是x16，但会受限于主板上的PCIe插槽数量）
  • NUMA配置：设置为每个CPU 4个NUMA节点。
  • 禁用IOMMU。
  • 启用4G以上解码。

结论 我希望这对任何想构建大型消费级GPU服务器的人有所帮助！如果想讨论可以通过upstation.io联系。

讨论总结

这是一个关于如何构建8x4090服务器的讨论。原帖详细介绍了构建这种服务器的各个方面，如机箱、主板、PCIe通道分配、供电和BIOS设置等。评论者们从不同角度提出问题、分享经验、发表看法，包括对特定技术内容的喜爱、对硬件连接和性能的疑问、对构建成本的比较、对服务器用于游戏的好奇，以及构建服务器出租可能涉及的NVIDIA EULA问题等，整体氛围积极且多元。

主要观点

  1. 👍 对SlimSAS内容表示喜爱
    • 支持理由：未明确提及，可能是其在构建服务器中的独特性或重要性
    • 反对声音：无
  2. 🔥 构建8x4090服务器能耗高，只为盈利
    • 正方观点：服务器从墙上拉取4.5千瓦功率来获取192GB内存，似乎只是为了盈利
    • 反方观点：无
  3. 💡 构建服务器时合适机箱的价格是个瓶颈
    • 解释：机箱价格不合理，如在中国带有PDB和4xCRPS电源的机箱大概花费2000美元且关税可能影响价格
  4. 💡 好奇此服务器配置用于游戏的表现
    • 解释：因为服务器配置强大，好奇用于游戏时的表现，如多核性能、游戏对并行GPU的利用等
  5. 💡 构建服务器出租4090显卡可能违反NVIDIA EULA
    • 解释：NVIDIA EULA禁止在数据中心使用和出租4090显卡，但在欧盟等地存在不同观点

金句与有趣评论

  1. “😂 a_beautiful_rhind: I like this slimsas thing.”
    • 亮点：简洁表达对SlimSAS内容的喜爱
  2. “🤔 I’ve been eyeing this motherboard for future (stupid) upgrade plans…”
    • 亮点：幽默且直白地表达对AsRock Rome2d32GM - 2t主板用于升级计划的关注
  3. “👀 Bacon44444：Yeah, but can it run crysis? /s In all seriousness, the kids in me wants to know how that beast games.”
    • 亮点：以幽默的方式引出对服务器配置用于游戏性能的好奇
  4. “🤔 tucnak：Pulling up to 4.5 KILOWATTS off the wall for 192 GB worth of RAM? You guys are desparate to see whatever money from these cards you possibly can, are you not?”
    • 亮点：尖锐地指出构建8x4090服务器能耗高与盈利目的的关联
  5. “👀 magriz：how do you deal with NVIDIA EULA terms that say you cannot use 4090 cards in the datacenter and rent them out?”
    • 亮点：提出构建服务器出租4090显卡涉及的重要合规性问题

情感分析

总体情感倾向是积极且充满探索性的。主要分歧点在于构建8x4090服务器的性价比、合规性以及部分技术选择（如PCIe Gen 5硬件对4090是否必要）等方面。可能的原因是评论者来自不同背景，有着不同的需求和关注点，例如有些关注游戏性能，有些关注商业应用中的成本和合规性。

趋势与预测

  • 新兴话题：PCIe Gen 5硬件在未来硬件构建中的应用，服务器构建中的散热优化。
  • 潜在影响：对于硬件市场，可能影响相关硬件（如机箱、主板、显卡等）的销售和研发方向；对于用户群体，可能改变他们构建服务器或升级硬件的决策。

详细内容：

《如何构建 8x4090 服务器：Reddit 上的热门讨论》

在 Reddit 上，一篇关于如何构建 8x4090 服务器的帖子引起了广泛关注。该帖子获得了大量的点赞和评论，大家围绕这一话题展开了热烈的讨论。

原帖提供了详细的构建步骤和相关技术要点，包括定制的服务器机箱、线缆连接、主板选择、PCIe 通道分配、供电设置和 BIOS 配置等。同时，作者还提到了自己的经验和所面临的挑战，并提供了相关的网站链接，如https://upstation.io 。

讨论焦点主要集中在以下几个方面：

首先是硬件选择和配置的问题。有人认为 AsRock Rome2d32GM-2t 主板是不错的选择，但也有人关心能否在该主板上连接 16 个 3090 显卡是否会出现问题。有用户分享道：“我曾在拥有 200 个 3090 显卡的加密农场工作，这样的连接是可行的。”

其次，关于成本和效益的讨论也十分激烈。有人指出，高功耗导致的经济成本过高，例如：“我曾有类似计划，结果发现电力消耗严重影响了经济效益。”

在散热和空间利用方面，有人认为当前的构建方式不够空间高效，而有人则反驳称可以在 6U 机箱中实现更紧凑的布局。

还有用户对能否使用 4090 显卡用于数据中心并出租的合法性提出了疑问，各方对此展开了激烈的争论。

在讨论中，也有一些有趣或引发思考的观点，比如“这能跑《孤岛危机》吗？” 以及对 Tenstorrent 等产品的讨论。

总体而言，这次关于构建 8x4090 服务器的讨论展现了大家对高性能计算设备的热情和关注，不同的观点和经验分享为想要尝试的人提供了丰富的参考。但同时，也存在一些尚未达成共识的问题，比如法律合规和最优配置方案等，等待着更多的探索和实践来给出答案。