原贴链接

在加密货币热潮后有一堆剩余的零碎部件，大多是转接卡、16awg 8针/6针的线。有一个4U机箱，但发现超微主板布局有点局促。在eBay上发现了这个6U机箱，看起来很棒，因为我可以在GPU转接卡架上打孔，然后改用普通的Gen 3带状转接卡。不过目前1x转接卡用于推理也不错。配置如下：E5 - 2680v4处理器、超微X10SRL - F主板、256gb DDR4 2400 RDIMM内存、1tb NVME PCIe适配器、6个8gb bios的p104 - 100（共48gb显存）、为主板供电的430ATX电源、带有来自电源的开启信号的x11转接板、为转接卡和GPU供电的1200瓦HP电源。这个6U机箱还可以，和我有的Rosewill 4U机箱相比质量不是最好的。但双层设置正是我想要的。缺少IO挡板并且由于没有空间安装全长PCIe会出现一些复杂问题，但如果我的目标是使用带状转接卡，那就无所谓了。整体是非常便宜的配置，RTX3090太贵了，现在价格在800 - 1200美元之间，P40现在400美元，P100也贵得离谱。附上图片链接：Imgur、Imgur、Imgur、Imgur。这是一个相对成本效益高的配置，总成本仍低于1个RTX3090，还为以后升级更好的显卡留有空间。

讨论总结

原帖作者分享了自己一个基于之前加密热潮剩余部件构建的6U设备，包含特定的CPU、主板、内存、存储、GPU等组件。评论者们从不同方面展开讨论，包括模型基准测试、硬件组件性价比和性能比较、GPU的价格和功能支持、设备供电方式，还对二手市场情况进行了推测等，整体氛围较为理性，大家积极分享信息与观点。

主要观点

  1. 👍 原帖作者构建了一个成本相对较低的设备
    • 支持理由：使用了加密热潮剩余的零部件，整体成本低于1个RTX3090的价格。
    • 反对声音：无。
  2. 🔥 onsit进行模型基准测试遇到不理想结果
    • 正方观点：onsit详细分享了在特定模型下的测试过程、配置以及结果不理想的情况。
    • 反方观点：无。
  3. 💡 有人认为原帖构建可选用P102
    • 支持理由：P102有更多内存且速度更快。
    • 反对声音：eBay上找不到P102，且P102性能表现不佳。
  4. 🤔 对P40价格达到400美元感到惊讶并指出其功能支持不足
    • 解释：价格相比其功能性价比低，对llama.cpp和vllm新功能支持不足。
  5. 😎 认为H100在家使用可能性低
    • 解释：因为H100大多是SXM模块，功耗高。

金句与有趣评论

  1. “😂 Jesus Christ, that’s insane. These cards are even falling off support for newer features of llama.cpp and vllm.”
    • 亮点：生动地表达出对P40价格高且功能支持不足的惊讶。
  2. “🤔 目前有Qwen2.5 - Coder - 32B - Instruct - exl2 - 8_0加载，我应该能够将该基准指向tabbyapi，因为它遵循openai api规范。”
    • 亮点：展示了onsit在模型测试方面的技术操作依据。
  3. “👀 为什么不选P102？它有2GB更多的内存而且速度更快。”
    • 亮点：直接提出对原帖构建硬件选择的疑问。
  4. “😏 仍然非常糟糕，所以可能不得不坚持运行Q8约30B——或者2bpw 70B可能也行。不过这是一个可以试验的东西，而且我的设置给了我很好的灵活性，可以随意更换我想要的6个GPU。”
    • 亮点：体现了onsit在面对不理想测试结果时的应对策略和设备灵活性优势。
  5. “🤯 你在着手此事之前读过关于使用P102的线程吗？它的性能真的不太好。”
    • 亮点：强调在硬件选择时需要参考相关信息。

情感分析

总体情感倾向较为中性。主要分歧点在于硬件组件的选择上，例如对于原帖构建中GPU的选择存在不同意见，原因是不同硬件在性能、价格、可获取性等方面存在差异。在模型测试方面则更多是分享各自的测试情况和遇到的问题，没有明显的情感偏向。

趋势与预测

  • 新兴话题：关于二手市场未来被H100充斥的推测可能引发后续对GPU市场发展趋势的讨论。
  • 潜在影响：如果二手市场如推测般发展，可能会影响到相关GPU的价格和用户的购买决策，也可能对硬件构建的成本产生影响。

详细内容：

标题：关于低成本电脑组装的热门讨论

在 Reddit 上，一篇题为“Inspired by the poor man’s build, decided to give it a go 6U, p104-100 build!”的帖子引发了众多关注。该帖详细介绍了作者利用在加密货币热潮中剩余的零部件进行电脑组装的过程。作者提到拥有多种硬件，如 E5-2680v4 处理器、Supermicro X10SRL-F 主板、256gb DDR4 2400 RDIMMs 内存、1 tb NVME 在 pcie 适配器、6 个 P104-100 显卡（共 48GB VRAM）等。还分享了所使用的电源配置和机箱情况，指出 6U 机箱虽质量一般，但双层设计符合需求。此次组装成本相对较低，低于购买一个 RTX3090 的价格，且还有升级空间。该帖获得了大量的点赞和评论。

帖子引发的主要讨论方向包括各种模型的测试、不同显卡的性能和价格对比、电源配置等问题。核心争议点在于如何在有限成本内获得更好的性能，以及某些旧款显卡是否还值得选择。

在讨论中，有人指出已成功设置 exllama 并愿意根据他人建议进行基准测试。有人建议尝试特定的程序和模型，如“benchmark_serving.py”和 llama 3.3 / nemotron 70b 模型等。有人分享了在设置和优化方面的经历，如开启 Tensor Parallel 模式。还有人对显卡价格和市场趋势发表看法，比如 P40 价格过高且逐渐失去对新特性的支持，但社区可能会让其继续发挥作用；有人认为 H100 由于功耗等问题在家用环境中难以使用。另外，对于选择何种显卡，有人提到 P102 虽然内存更多速度更快但难以找到，V340s 性能更好且价格相对合理。关于如何为众多 GPU 供电，作者介绍了通过 X11 转接板连接 1200 瓦特的惠普公共导轨电源，以及用一个普通的 430 瓦特 EVGA ATX 电源为主板供电的双电源设置。

总的来说，这次讨论展示了大家在电脑组装方面的丰富经验和多样观点，为有类似需求的人提供了不少有价值的参考。