原贴链接

大家好，我计划构建一个预算约为6000美元的工作站。重点是易于维护的散热和具有前瞻性，因为我将先使用单个NVIDIA RTX A6000，但之后可能会添加更多GPU用于人工智能/机器学习工作负载。以下是我的想法：CPU为AMD Threadripper Pro；主板为ASUS Pro WS WRX80E - SAGE；GPU为NVIDIA RTX A6000；内存为128GB ECC；存储为2TB NVMe SSD；电源为1200W白金级电源；机箱为Fractal Design Meshify 2 XL；散热为CPU使用一体式水冷，可能还会增加一些风扇以改善气流。目标是构建一个强大且稳定的系统，用于大型语言模型（LLM）推理和数据密集型任务，同时尽可能易于维护。这个设置合理吗？我是否应该考虑更好的选项？我很想听听你们的反馈，特别是如果你们构建过类似的东西。如果你们想的话，请随意把关于运行本地大型语言模型（LLM）的所有知识都告诉我。谢谢！

讨论总结

原帖作者计划构建一个预算为6000美元的工作站，重点是易维护冷却和面向未来，用于AI/ML工作负载，列出了初步的硬件选择并寻求反馈。评论者们从各个方面给出回应，包括对CPU、主板、GPU、内存、存储、电源等硬件的不同建议，也有对原计划中硬件选择的质疑，同时还有人分享自己类似的构建经历，整体讨论氛围积极且充满各种不同观点。

主要观点

  1. 👍 推荐使用Epyc Rome或Milan处理器替代Threadripper
    • 支持理由：Epyc主板集成IPMI芯片有诸多优势，在PCIe通道、内存支持方面也更有优势
    • 反对声音：无
  2. 🔥 原计划中的1200W PSU功率不足，应购买1600W PSU
    • 正方观点：便于日后添加显卡
    • 反方观点：原计划中的电源对于当前一块GPU是过剩的
  3. 💡 若有钱且有后续增加A6000显卡计划，原计划可行，但存在更低价构建多个RTX 3090的方案
    • 解释：原计划有其合理性，但有性价比更高的选择，如构建多个RTX 3090的方案花费更低
  4. 🤔 仅1个GPU时不需要Threadripper，属于过度消费
    • 解释：从硬件资源利用角度，仅一个GPU时不需要Threadripper这种高端配置
  5. 😎 48GB显存对于某些任务是最低限度，处理特定任务（largestral相关）时显存要求更高
    • 解释：在特定任务场景下，原计划中的48GB显存可能不够用

金句与有趣评论

  1. “😂 Skip the threadripper and get an Epyc Rome or Milan.”
    • 亮点：直接给出了对原帖CPU选择的不同建议，简洁明了。
  2. “🤔 One really nice feature of going with Epyc boards is that you get an IPMI chip integrated that provides basic graphics capabilities for your OS of choice, freeing every last bit of VRAM for actual work, and out of band management for the whole system auch as: turn on/off, access the system from a browser (including the BIOS settings) and the ability to upgrade/downgrade BIOS even without a CPU installed in the board and without turning on the system.”
    • 亮点：详细阐述了Epyc主板集成IPMI芯片的优点，具有很强的参考价值。
  3. “👀 Where are you getting an A6000 that fits within that budget?”
    • 亮点：对原帖中在预算内获取A6000显卡提出疑问，也是很多人关注的点。
  4. “😏 I’d get a cheap Ryzen board with Bifurcated 8x 8x support. Then you can load 2xA6000 on there for 96GB RAM and add NVLink for a fast connection between the two.”
    • 亮点：提出了一种不同的主板和GPU组合方案来满足内存需求并提高连接速度。
  5. “🙄 Threadripper is a waste of money too.”
    • 亮点：直接表达对原帖选择Threadripper的否定态度。

情感分析

总体情感倾向为积极探讨，大家都在真诚地给出建议或分享经验。主要分歧点在于原帖中的一些硬件选择是否合理，如Threadripper的选择、RTX A6000显卡的选择、1200W电源是否足够等。可能的原因是不同用户有不同的使用场景、预算考量和硬件偏好。

趋势与预测

  • 新兴话题：等待Blackwell影响价格后再决定GPU的购买，以及M4 Ultra发布后的硬件选择调整。
  • 潜在影响：对有类似工作站构建需求的用户在硬件选择上有更多参考，也可能影响相关硬件的市场需求和价格走向。

详细内容：

标题：关于 6000 美元工作站构建的热烈讨论

在 Reddit 上，一则关于 6000 美元工作站构建的帖子引发了众多网友的热议。该帖子的作者计划构建一个预算约 6000 美元的工作站，重点在于易于维护的冷却和未来的可扩展性，起始配置为单个 NVIDIA RTX A6000 显卡，未来可能会添加更多 GPU 用于 AI/ML 工作负载。其主要配置包括 AMD Threadripper Pro CPU、ASUS Pro WS WRX80E-SAGE 主板等。此帖获得了大量的关注，评论数众多。

讨论的焦点集中在主板和 CPU 的选择、存储和电源的配置等方面。有人建议跳过 Threadripper 选择 Epyc Rome 或 Milan 处理器以及相应的主板，认为这样可以节省资金用于购买其他硬件，比如额外的显卡，并强调 Epyc 主板具有更多优势，如 IPMI 芯片提供的基本图形功能等。但也有人经过长时间研究后选择了 Threadripper ，认为其在某些方面更适合自己的需求，比如时钟速度。

关于主板，有人认为 Epyc 主板在 PCI 通道等方面更具优势，而持有华硕 WRX80 主板的用户则表示该主板也有其独特之处，如 IPMI 和串行显示输出等功能。

在存储方面，有人指出 2TB 的存储空间远远不够，建议增大 SSD 容量。

在电源方面，有人认为 1200W 可能不够，建议选择 1600W 以满足未来添加更多硬件的需求。

对于是否选择 RTX A6000 显卡，也存在不同观点。有人认为其 VRAM 容量可能无法满足需求，建议选择其他显卡或等待新的产品。

总之，这场讨论展示了不同用户在工作站构建方面的丰富经验和多样观点，大家各抒己见，为作者提供了众多有价值的参考。但究竟哪种方案更优，还需根据作者的具体需求和使用场景来综合判断。