原贴链接

大家好。我想分享一下我的搭建。虽然它不是专门为大型语言模型（LLM）实验而构建的，但我额外购置了两块3090来玩玩本地的LLM。大部分部件是二手的。我花了很多时间在eBay上寻找划算的交易。以下是具体配置：CPU：Threadripper 2920X，60美元；CPU散热器：ARCTIC Freezer 4U - M，50美元；主板：MSI X399 Gaming Pro Carbon AC，160美元；GPU：4块RTX 3090，每块约625美元；内存：128GB DDR4 3200MHz，全新，本地购买200美元；电源：Dark Power Pro 13 1300W，80 PLUS Titanium，160美元；机箱：亚马逊的挖矿机箱，59美元；风扇：5个Thermalright TL - E12B V3，每个8美元；无线网卡：EDUP PCIe WiFi 6E卡，25美元。还得购置一些诸如PCIe转接卡之类的额外东西。原本打算使用Phanteks Enthoo Pro II Server Edition机箱，它很大，但如果不用水冷并且拆除GPU风扇的话，是无法装下4块GPU的。我还没准备好应对这种麻烦，所以就选择了开放式机箱。是的，在车库里它会积灰，但一个月用吹叶机吹一次会有所帮助。关于电源：1300W的电源对于4块GPU来说确实功率不足。目前，在我重新布线车库插座之前，电路功率必须保持在1400W以下。由于配电箱空间有限，240V的升级得等等。我运行Arch Linux并使用自定义脚本和systemd服务来管理功率限制。目前的限制为：nvidia - smi - pm 1；mvidia - smi - pl 230；nvidia - smi - lgc 0,1400。这些限制可以根据工作负载需求进行调整，因为我很少需要四块GPU都满负荷运行。Threadrippers很不错，但2920x已经有些年头了。不过，60美元能买到它还是很划算的。我希望能有更多线程，但也只能这样了。如果我要重新搭建这个系统，我现在可能会考虑EPYC。在这块主板上，我让GPU以16/8/16/8的PCIe 3.0通道运行。虽然我还没有发现明显的瓶颈，但如果预算更多的话，我会选择PCIe 4.0。这是一种成本 - 性能的权衡。这个系统完全由绿色能源供电。我有太阳能板，用多余的能源来给这个系统供电比卖回给供应商好多了！关于这个系统的应用：我刚开始接触本地LLM，所以目前主要是在本地网络上进行实验和服务模型，未来计划探索智能体。除了LLM之外，这台机器是我进行资源密集型任务的主要计算服务器。我是一名从事分布式系统工作的软件工程师。我通过SSH从其他设备访问它用于各种目的，包括：运行多个容器化应用程序，其中一些在互联网上提供服务；数据处理管道，使用大数据工具进行实验；渲染任务，这不是我的专长，是其他家庭成员使用；开发服务器：所有开发工作都在这台服务器上进行。主要通过SSH隧道访问，这样即使我们的基本笔记本电脑也能保持高效工作。对于LLM实验，我主要使用SGLang进行AWQ量化。到目前为止，我尝试过的最大模型用两块GPU进行AWQ就可以运行。因此，目前我打算同时运行两个不同的模型。如果你对在这台机器上进行实验有更多想法，欢迎给我建议。

讨论总结

原帖作者分享了自己的Homelab构建，包括各个硬件的型号、价格、来源等信息，以及构建过程中的考虑因素和系统的应用场景。评论内容涉及多个方面，包括对原帖构建性价比的认可、对硬件选择的疑问和批评、对某些软件和模型的讨论、对未来硬件价格的期望等，整体氛围较为多元，既有积极的赞赏，也有消极的批评。

主要观点

  1. 👍 原帖作者的Homelab构建性价比高
    • 支持理由：与OpenAI订阅费用相比更划算，和其他花费更多构建系统相比花费较少。
    • 反对声音：无。
  2. 🔥 原帖的硬件构建存在问题
    • 正方观点：主板、内存、散热等方面不符合要求，整体是过时的类似游戏硬件拼凑的。
    • 反方观点：原帖作者未明确反驳，但提到构建是根据自己需求和预算进行的。
  3. 💡 多数PyTorch相关工作为单线程，更多线程无帮助
    • 解释：针对原帖作者希望有更多线程提出该观点，认为在PyTorch相关工作中更多线程作用不大。
  4. 💡 目前不需要RTX 3090，等待新系列推出并希望价格下降
    • 解释：一些评论者表达了对RTX 3090的态度，他们不需要该产品并期待新系列推出后其价格下降。
  5. 💡 vllm对常见用例和新模型支持更好
    • 解释：有评论者试过Sglang和vllm后认为vllm在这方面表现更优。

金句与有趣评论

  1. “😂 DeltaSqueezer：Very nice. Better than 16 months of $200 OpenAI subscription, I’d say!”
    • 亮点：通过与OpenAI订阅费用对比，简洁地表达出原帖构建的性价比之高。
  2. “🤔 tucnak: You really felt like sharing this embarrassment?”
    • 亮点：这句评论非常直接地表达出对原帖构建的不屑态度，在众多评论中较为突出。
  3. “👀 everydayissame：With those limits, nothing can trip the supply. I have run stress tests on every part of the system.”
    • 亮点：针对电源跳闸的担忧，给出经过测试不会跳闸的回应。

情感分析

总体情感倾向较为复杂，既有积极的赞赏，也有消极的批评。主要分歧点在于原帖的硬件构建是否合理。可能的原因是不同评论者有不同的需求和标准，一些人从性价比角度考虑，认为原帖构建是不错的；而另一些人从高端硬件构建的标准出发，认为原帖存在很多不足。

趋势与预测

  • 新兴话题：关于Sglang和vllm的对比可能会引发更多讨论，尤其是在不同使用场景下的优劣。
  • 潜在影响：如果更多人关注到这种家庭实验室构建的性价比，可能会影响更多人尝试自己构建类似的系统用于各种计算任务。

详细内容：

标题：Reddit 热门：强大的 Homelab 构建引发激烈讨论

在 Reddit 上，一篇名为“My Homelab Build: 4x RTX 3090 Powerhouse”的帖子引发了众多关注。此帖详细介绍了作者的构建过程，包括各种硬件的选择、价格以及系统的应用等。该帖子获得了大量点赞和众多评论。

讨论的焦点主要集中在以下几个方面： 首先是关于技术选型的争议。有人认为主板、内存等配置不够理想，如“你真觉得分享这个很光彩？PCIe3 主板，非 ECC 内存，没有液冷。搞个超微机箱，弄个真正的主板，用真正的服务器内存，别丢人现眼了。”但也有人表示这是在预算内的家庭实验室构建，“很多人在 r/localllama 都用 3090s，这显然是个预算有限的家庭实验室构建。”

在软件和模型方面，关于 Sglang 和 vllm 的比较讨论热烈。有人好奇为什么选择 Sglang 而非 vllm，也有人表示自己尝试过两者，认为 vllm 在常见用例和新模型方面有更好的支持。

价格和未来走势也是大家关心的话题。有人觉得 3090 系列的价格下降可能需要数年，也有人准备等待新系列，希望价格能有所下降。

对于系统的散热和风扇设置，有人担心不够优化，也有人认为没问题。比如，“不太确定风扇设置是否最优。6 个风扇可能有点多（也许如果你的电免费且不介意噪音就不是问题），但有一个 GPU 上没有风扇。要确保每个 GPU 背面的 VRAM 能得到良好散热。”但也有人说“没有风扇的那个有很大的空间来抽气，我打赌没问题。三个靠得近的卡需要额外的进气，这是我自己吃了苦头才学到的。”

有人还对系统能达到的性能指标，如每秒处理的令牌数量，以及系统在不同模型下的速度表现表示好奇。

总之，这次关于 Homelab 构建的讨论展示了大家在硬件、软件、价格等方面的不同看法和丰富经验，为爱好者们提供了有价值的参考和思考。