原贴链接

大家好，

由于我要把我的双3090送给我的弟弟，我想组装一台新的LLM工作站。以下是我目前的配置：

双3090

i9 13900k

96 GB DDR5内存（2x48 GB）

华硕ROG Maximus Z790 Hero

（教训：买一个更大的机箱，良好的空气流通对双3090来说很困难）

这台电脑也用于游戏。我运行Mistral Large 2.75bpw，我想，LLama3 70b q4 abliterated，Miqu midnight 70b。大多数情况下，我使用TabbyAPI作为exl2和SillyTavern的加载器，尽管我切换到了OpenWebUI。也许我会尝试vLLM，因为我听说它对推理有更好的优化。

主要任务：

使用OpenWebUI进行个人RAG

数据处理/文本分类

使用Whisper进行语音转文字

角色扮演

图像生成

翻译

它主要帮助我在日常工作中讨论事情等。为了更注重生产力的方法：我应该买什么？当然，GPU是最重要和最昂贵的部分。但其他的呢？

我真的很讨厌那些丑陋的开放式木架结构，所以我想把它放在一个机箱里。我最可能考虑的是用另一张48 GB的卡升级现有的48 GB卡以获得更多的VRAM；其他的对我来说不值得。

是的，你没看错。对于那些摇头的人：是的，对我来说，这是值得的。仅仅因为隐私方面的考虑，所以推荐云解决方案的人，请不要评论。

主要，我对主板不确定…我应该选择服务器级还是保持消费级？我唯一能想到的是为最多5个人进行批量推理，不再多。你能推荐一个主板和一个机箱给我的配置吗？

谢谢！

讨论总结

本次讨论主要集中在Reddit用户从双3090升级到双4090或RTX A6000的决策上，涵盖了主板选择、机箱兼容性、性能提升和成本效益等多个方面。评论中不仅讨论了不同GPU的性能和能耗，还涉及了主板和机箱的选择建议，以及对未来硬件升级的预测。整体氛围偏向技术性和实用性，用户们提供了丰富的硬件配置建议和性能分析。

主要观点

  1. 👍 不建议使用13900k或14900k
    • 支持理由：AMD可能是更好的CPU替代选择，特别是在GPU负载较重的情况下。
    • 反对声音：无
  2. 🔥 A6000在性价比上优于4090
    • 正方观点：A6000提供了较好的性价比和较低的能耗。
    • 反方观点：4090在性能上更优，但成本更高。
  3. 💡 常规机箱最多支持两块GPU
    • 解释：桌面主板有多个具有两个PCIe x8插槽且间距足够的选择。
  4. 👍 建议使用封闭式机箱
    • 支持理由：避免开放式木架结构，提高散热效率。
    • 反对声音：无
  5. 🔥 推荐使用带有Gen 5 M2插槽的主板
    • 正方观点：支持更快的NVME SSD，提高模型加载速度。
    • 反方观点：无

金句与有趣评论

  1. “😂 如果负担得起，就选择A6000。4090并没有带来太多优势。”
    • 亮点：直接点出了A6000的性价比优势。
  2. “🤔 4x GPU is so much more pain then 2x or even 3x”
    • 亮点：幽默地表达了多GPU配置的复杂性。
  3. “👀 Dual 4090 will be hot as fuck”
    • 亮点：直接且生动地描述了双4090的高温问题。

情感分析

讨论的总体情感倾向偏向实用和技术性，用户们提供了大量的硬件配置和性能分析。主要分歧点在于GPU的选择，特别是A6000和4090之间的性价比和性能比较。可能的原因是用户们对未来硬件升级的预期不同，以及对成本和性能的权衡。

趋势与预测

  • 新兴话题：新一代显卡的发布可能会引发更多关于性能和能耗的讨论。
  • 潜在影响：硬件选择的决策将直接影响用户的成本和性能体验，特别是在AI和深度学习领域。

详细内容：

标题：构建高效 LLM 工作站的艰难抉择

在 Reddit 上，一篇题为“From dual3090 to dual4090 or RTX A6000”的帖子引发了热烈讨论。该帖作者表示要将自己的双 3090 显卡送给弟弟，打算构建新的 LLM 工作站，列举了当前的配置，并阐述了主要任务，包括个人 RAG 使用 OpenWebUI、数据处理、语音转文本等。此帖获得了众多关注，评论数众多，主要讨论方向围绕着硬件选择展开。

核心问题在于如何选择合适的硬件来满足作者的需求，尤其是在显卡、主板等关键部件上。

讨论焦点与观点分析：

  • 在 CPU 选择上，有人认为不应再选择 13900k 或 14900k，也有人提到 AMD 作为替代方案，还有人表示对于神经网络，NVIDIA + Intel 并非最优，CPU 的影响不大。
  • 关于显卡，有人推荐 A6000，认为其功耗大幅降低；有人则认为 4090 性能更好，只是 A6000 的额外 VRAM 更具吸引力。同时，也有人提到 4x2080ti 22gbs 的方案。
  • 对于主板，有人指出无需服务器主板，有不少桌面主板能满足需求；也有人提到应选择具有 Gen 5 M2 插槽和支持足够 PCI-E 通道的主板。
  • 在整体配置方面，有人建议考虑 WRX80 主板、Threadripper Pro CPU 等 HEDT 路线，同时强调了水冷却的重要性；还有人推荐特定的机箱，如 Thermaltake 500。

例如，有用户分享道：“作为一名长期关注硬件配置的爱好者，我在多次尝试不同组合后发现，对于这种高性能需求的工作站，硬件之间的协同作用至关重要。就像在一场接力比赛中，每个环节都不能掉链子。”

讨论中的共识在于需要根据预算和具体需求来平衡硬件选择。特别有见地的观点如强调 NVME SSD 对于模型加载速度的提升，以及根据是否进行模型训练来选择不同的显卡方案，丰富了讨论的深度和广度。

总之，这场关于构建 LLM 工作站的讨论展示了硬件选择的复杂性和多样性，为有类似需求的用户提供了丰富的参考和思考方向。