原贴链接

我正在组建一个新的家庭服务器，希望其硬件能满足以下用例：推理、对多达70B的模型（Qwen2.5）进行参数高效微调（PEFT）、持续运行代理环境（AutoGen、OpenHands）、有增加GPU数量的空间、数据消化（特别是来自数学密集型研究论文的数据）和合成数据集生成。我目前的构建计划如下：- 4张微星VENTUS 3X 3090 OC显卡 - 2000美元，每张占2.5个插槽，但去掉塑料和风扇就只占2个插槽。反正打算用开放式机箱，除非我想尝试水冷。- 主板：ROMED8 - 2T - 650美元；可兼容低至7xx2的EPYC处理器（128条PCIe通道），有7条PCIe 4.0 x16通道。这样我可以扩展到6张3090显卡而不用担心PCIe带宽拥堵。而且由于它是ATX规格且x16通道间距为2个单位，如果我想要一个外观简洁的设备，我想可以在机箱内装4张水冷的3090。- CPU：AMD EPYC 7K62 - 在eBay上新买的300美元；48核，比240美元的32核更具性价比。虽然对人工智能不重要，但我的工作负载包括一般的CPU任务，如数据处理、代理编译代码、简单的容器化基础设施。- 内存：A - Tech（128GB）8根16GB 2Rx8 PC4 - 25600R DDR4 3200，200 - 300美元，请检查我的计算，但我认为是25.6Gb/s×8根 = 204.8Gb/s的总内存带宽。这个速度是不是太快了？我是否应该选择2333mhz PC4 - 17000×8 = 135Gb/s的，130美元的来节省成本？- 电源：EVGA Supernova 1300W G+ 80%金牌（两个150美元），如果我想要的话 - 从挖矿朋友那里用过的，但我觉得功率不够（计算如下）。其他配件：- 开放式机箱<50美元- 可能是LINKUP PCIe转接卡 - 4个50美元- 那个经典的棕色风扇100美元的CPU散热器- 三星Pro 990 2TB NVMe固态硬盘 - 在M.2 4.0 x4插槽上达到7.2Gb/s的速度上限，200美元- 用于ZFS的额外硬盘：即使有6张3090显卡，我仍然有8个4.0 x4插槽可用。总共花费约3800美元左右，GPU方面还有扩展空间。其他考虑的产品包括：- MZ32和MZ01服务器主板 - 不错的是，你可以用不到500美元买到捆绑32核第一代EPYC的主板，但如果不解决带宽瓶颈，最多只能支持4张显卡。- WRX80主板 - 华硕的那块看起来很棒，亚马逊上有一块售价400美元，但由于我偶尔会编译代码和进行其他受CPU瓶颈限制的活动，我认为与具有更高单核性能的线程撕裂者相比，高核心的EPYC性价比更高（保持300美元的价格不变，12核的线程撕裂者3945WX单核得分为2700，多核得分为40000，而EPYC单核为2000，多核为60000，我想我更想要48核而不是12核）- 任何英特尔插槽的产品 - 从时间角度来看，我发誓这个项目只投入80%的精力，而且我已经在优化部件清单上花费了过多时间。我的主要问题：- 我能在推理时利用张量并行性吗？PCIe 4.0 x16带宽每张卡应该是32Gb/s，所以每张卡能接收32Gb/s，除以3张卡 = 从每张卡得到10.6Gb/s。似乎我的使用量将远低于这个限制。我能找到的唯一表明带宽的基准测试是这里，它表明对于4张Titan X卡，Aphrodiete/vLLM最大单向PCIe为5Gb/s。- 如果我增加显卡，我是否真的能运行像Deepseek2.5（Q4_0在无上下文时为133GB，6×24GB = 144GB显存）这样的东西？我想是时候放弃ollama并开始使用MLC - LLM和vLLM了。- 电源：我是否应该计划普遍给显卡低功率供电？我听说它们可以从275 - 300W一直降低到200W。假设我的低功率峰值是300W，那么（300W×4）+（300W CPU 100%负载） = 1500W。我想一个1300W的电源是不够的？我是否需要1500/80% = 约1850W？我应该把风扇功率计算在内吗（假设有机箱的情况下）？- 有什么我没有考虑到的或者过度优化的地方吗？- 你最喜欢的自托管人工智能项目有哪些？应用程序、引擎、模型、框架。任何项目、博客、学习材料，你认为被低估的（我认为是“人工智能长远发展中的代理”）。我特别感兴趣的是代理辅助学习（对密码学和人工智能研究进行总结、制定学习课程、商业计划等）和自我反思（日记条目、心理治疗）、音频转录和网页抓取。（附言：Manning和OReilly现在都有月度订阅，你可以无限制访问他们所有的书籍：大型语言模型、Kubernetes、软件工程等）

讨论总结

原帖作者计划构建一个用于多种AI相关用途的家庭服务器，详细列出了硬件配置，包括4个3090显卡、特定主板、CPU、内存等，并提出关于张量并行、增加显卡后的运行情况、电源功率等问题。评论者们针对这些硬件分享了各自的经验和观点，有对主板问题的警示，3090显卡功率尖峰的提醒，还有关于二手3090购买渠道的交流等，整个讨论较为平和，大家在分享有用的信息。

主要观点

  1. 👍 [XMasterrrr有8x3090设置相关经验并写过软件方面的博客，分享博客链接希望能帮助原帖作者]
    • 支持理由：[可以为原帖作者提供软件方面的参考]
    • 反对声音：[无]
  2. 🔥 [ROMED8 - 2T主板存在诸多问题，如对PCIE riser电缆挑剔、易出现故障等]
    • 正方观点：[评论者自身使用该主板遇到问题，如6个月就出现BCM故障]
    • 反方观点：[无]
  3. 💡 [3090进行张量并行时功率会短暂尖峰，1300W电源不足以支持4个3090]
    • [理由是评论者有实际经验，将3090功率限制在300W仍触发1600W电源保护电路，尖峰功率可达近600W]
  4. 🤔 [取下显卡塑料和风扇的做法不可行，会使显卡温度波动过大而损坏]
    • [基于自身失败经历得出该结论]
  5. 😕 [不同地区二手3090价格差异大，eBay是一个可能买到低价卡的渠道]
    • [有评论者分享自己地区价格高昂，而其他人在eBay或从当地挖矿者处买到低价卡]

金句与有趣评论

  1. “😂 XMasterrrr：Hey, I have an [8x3090 setup](https://ahmadosman.com/blog/serving - ai - from - the - basement - part - i/), and I wrote about the software side of things in - depth in a blogpost here: https://ahmadosman.com/blog/serving - ai - from - the - basement - part - ii/”
    • 亮点：[直接给出自己类似设置的经验以及相关软件博客链接，很实用]
  2. “🤔 Caveat emptor. I have the /BCM variant of the ROMED8 - 2T and it is finicky with PCIE reiser cables.”
    • 亮点：[对原帖计划使用的主板提出警示]
  3. “👀 rustedrobot：I have mine capped at 300w and still manage to trigger the EVGA 1600+ Gold’s protection circuitry and it shuts down.”
    • 亮点：[生动地展示了3090显卡功率尖峰的情况]
  4. “😉 a_beautiful_rhind：Pulling off the plastic didn’t work for me because the cards ramp up and ramp down too much.”
    • 亮点：[分享自己关于显卡硬件处理的失败经验]
  5. “🤨 Hisma: Where are you guys finding used 3090s for so cheap? Where I am cheapest is $750 and those are usually FEs with terrible thermals”
    • 亮点：[体现出不同地区二手3090价格的差异]

情感分析

[总体情感倾向较为中性，主要分歧点在于对硬件的评价（如ROMED8 - 2T主板）和操作的可行性（如取下显卡塑料和风扇），原因是不同的用户有不同的使用体验和需求]

趋势与预测

  • 新兴话题：[关于硬件改装（如3090显卡拆除散热器或安装水冷头）的后续使用情况和注意事项可能引发后续讨论]
  • 潜在影响：[对于想要构建类似家庭服务器的人来说，这些讨论可以帮助他们避免硬件选择和使用上的一些问题]

详细内容：

《关于 4x 3090 家庭服务器构建的热门讨论》

在 Reddit 上，一则关于搭建 4x 3090 家庭服务器的帖子引发了热烈讨论。该帖子获得了众多关注，点赞数和评论数不断攀升。原帖主要讲述了作者计划构建一个新的家庭服务器，并详细列出了硬件配置和相关疑问，包括硬件选择、电源功率、能否实现张量并行推理等，整体预算约 3800 美元。

讨论焦点主要集中在以下几个方面： 有人分享了自己的 8x 3090 搭建经验，并提供了相关博客链接https://ahmadosman.com/blog/serving-ai-from-the-basement-part-i/和https://ahmadosman.com/blog/serving-ai-from-the-basement-part-ii/。 有人询问关于 pcie 卡和转接板的选择。 有人指出 ROMED8-2T 主板存在一些问题，如与 PCIE 转接电缆不兼容、可能无法容纳 7 个无护罩的 GPU 等，还提到 BIOS 问题及寻求帮助的经历。 有人提到 3090 在进行张量并行运算时功率会瞬间飙升，如有人的 3090 峰值功率可达近 600W，因此 1300W 电源不够，1600W 电源在不进行张量并行运算时可行。但也有人表示自己用 1200W 服务器电源运行 3x3090 没问题。 有人分享了买到便宜二手 3090 的途径。

在这些讨论中，对于电源是否足够的问题存在争议。有人认为 1300W 电源肯定无法满足 4 个 3090 的需求，而有人则表示自己用更低功率的电源也未出现问题。关于主板的兼容性和稳定性也存在不同看法。

共识在于大家都对搭建这样的家庭服务器充满兴趣，并积极分享经验和见解。特别有见地的观点如关于 BIOS 问题的解决方法以及不同用户在电源和硬件配置上的独特选择，丰富了整个讨论。

总的来说，这次关于 4x 3090 家庭服务器构建的讨论，为有类似需求的用户提供了丰富的参考和思考方向。但在实际操作中，还需根据自身情况谨慎选择和配置硬件。