原贴链接

感谢观看我尽力打造的价格合理的70b 8位推理设备。很感谢大家对我之前的合理性检查帖子的意见，这些意见很有用。灵感来源：Towards Data Science文章。构建细节与成本：低成本必需品包括英特尔至强W - 2155 10核（167.43美元，二手）、华硕WS C422 SAGE/10G英特尔C422主板（362.16美元，开箱）、EVGA Supernova 1600 P+（285.36美元，全新）、（256GB）美光（8x32GB）2Rx4 PC4 - 2400T RDIMM（227.28美元）、PNY RTX A5000 GPU四块（约5596.68美元，开箱）、美光7450 PRO 960GB（约200美元，已有）；个人选择、升级和添加的部件包括银欣科技RM44机箱（319.99美元，全新，我认为是最好的8个PCIE插槽机箱）、Noctua NH - D9DX i4 3U高级CPU散热器（59.89美元，全新）、Noctua NF - A12x25 PWM三个（98.76美元，全新）、希捷酷鱼3TB ST3000DM008 7200RPM 3.5英寸SATA硬盘（63.20美元，全新）；含GPU总价约7350美元。问题：存在内存问题，似乎内存必须配对，且对美光有要求。关键设备评测：银欣机箱构建和使用起来很愉快，设计很巧妙，没有问题；Noctua设备都很棒，运行时很安静。基本基准测试：非并发约27t/s，并发约120t/s。非并发测试输入命令及结果、并发测试输入命令及结果（略）。总结：用一些开箱和二手部件构建了一个性价比高的70b 8位推理设备，遇到内存兼容性问题，但构建质量和性能基准测试结果令人满意，含GPU总成本约7350美元。

讨论总结

原帖作者分享了自己构建的低成本70b 8 - bit推理装置，包括各个部件的价格、选择原因、遇到的问题以及性能基准等内容。评论者们针对该装置的不同方面进行了讨论，例如Noctua设备的认可度、A5000显卡的性能、GPU的温度、选择A5000而非3090的原因、装置的功耗以及内存设置等，提问与解答、观点分享交替进行，整体氛围和谐。

主要观点

  1. 👍 Noctua设备在电脑组件中认可度高
    • 支持理由：其他组件多方讨论时，Noctua风扇大家一致认可且负载时噪音令人愉悦，拥有大量粉丝群体。
    • 反对声音：无
  2. 🔥 A5000显卡有性能优势且在构建中有较好表现
    • 正方观点：热设计功耗230W从密度角度有吸引力，构建中的性能约为理论值的60%，成绩不差。
    • 反方观点：无，但有建议与EXL2比较来提升性能。
  3. 💡 选择A5000而非二手3090是合理的
    • 解释：A5000在TDP、尺寸、价格、散热、噪音、适用场景等方面比3090有优势，初始计划将卡放在数据中心且只允许专业卡等因素影响。
  4. 💡 GPU温度在满负载且风扇60%转速时为83℃是可接受的
    • 解释：虽然GPU距离近但制造商称没问题，其他厂商有类似GPU堆叠放置情况且原作者会密切监测。
  5. 💡 原帖分享的推理装置很有趣且有价值
    • 解释：评论者表示感谢并对装置的功耗等方面进行提问，体现出对分享内容的兴趣。

金句与有趣评论

  1. “😂 All excellent and quiet with a pleasing noise at load. I mean, it’s Noctua.”
    • 亮点：简洁地表达出Noctua设备在负载时的良好表现，成为大家认可它的一个因素。
  2. “🤔 Hmm A5000 are interesting cards I didn’t realize they’re only 230W TDP, that’s quite attractive from a density perspective as you demonstrate with this build.. very nice.”
    • 亮点：体现出对A5000显卡的新认识，从功耗和密度角度认可其在构建中的价值。
  3. “👀 koalfied - coder: Much Lower TDP, smaller form factor than typical 3090, cheaper than 3090 turbos at the time, they run cooler so far than my 3090 turbos. Also they are quieter than the turbos. A5000 are also workstation cards which I trust more in production than my RTX cards.”
    • 亮点：详细阐述了选择A5000而非3090的多种原因，具有很强的说服力。
  4. “😉 ShinyAnkleBalls：Curious here. What do the GPU temps look like?”
    • 亮点：以一种直接的方式表达出对GPU温度的好奇，开启了关于GPU温度的讨论。
  5. “😊 Thank you for sharing! This is really interesting!”
    • 亮点：简单地表达出对原帖分享内容的感谢和认可。

情感分析

总体情感倾向是积极正面的。主要分歧点较少，在硬件选择方面如选择A5000而非3090的讨论中存在不同看法，但双方都能理性交流并互相理解。可能的原因是原帖分享的是自己的构建成果，评论者大多是基于技术层面进行交流和提问，且目的是为了更好地了解该推理装置的构建和性能等情况。

趋势与预测

  • 新兴话题：关于推理装置内存设置的讨论可能会引发后续更多关注，如不同类型内存的搭配和优化。
  • 潜在影响：对有计划构建类似推理装置或者对硬件性能优化感兴趣的人群有一定的参考价值，可能影响他们在硬件选择、构建方案以及性能提升方面的决策。

详细内容：

标题：打造高性价比 70b 8 位推理装置引发的热门讨论

近日，Reddit 上一篇关于“Low-Cost” 70b 8-bit inference rig 的帖子引起了众多网友的关注。该帖子详细介绍了作者打造这一装置的过程、相关配置及成本等细节，截至目前已获得了[具体点赞数]个赞和[具体评论数]条评论。

帖子的主要内容是作者分享了自己构建的一款价格较为合理的 70b 8 位推理装置。在配置方面，列出了包括处理器、主板、电源、内存、GPU 等各类硬件的具体型号和价格。同时，作者还提到了在构建过程中遇到的一些问题，如内存的兼容性问题。此外，作者还分享了该装置的基本性能基准测试结果。

这一帖子引发了多个方向的讨论。比如，有人对 Noctua 风扇的出色表现赞不绝口；有人探讨了 A5000 显卡的性能和特点；还有人就不同显卡的选择以及能耗等问题展开了交流。

文章将要探讨的核心问题是：如何在控制成本的前提下，打造出性能出色且稳定的推理装置，以及在构建过程中所面临的各种技术和选择难题。

讨论焦点与观点分析

在讨论中，有用户表示 Noctua 风扇在负载时噪音令人满意。比如有人说：“所有的 Noctua 设备都非常出色且安静，负载时的噪音令人愉悦。不得不说，这就是 Noctua。”

关于 A5000 显卡，有人认为其 230W 的 TDP 从密度角度来看很有吸引力，如有人说道：“A5000 是很有趣的显卡，我之前没意识到它们的 TDP 只有 230W，就像您展示的这样，从构建角度来说这非常不错。”

对于显卡的选择，作者解释了选择 A5000 而非 3090 的原因，包括更低的 TDP、更小的尺寸、更低的运行温度和噪音，以及其作为工作站显卡在生产环境中的可靠性等。比如作者提到：“Much Lower TDP，更小的外形尺寸比典型的 3090，比当时的 3090 涡轮版更便宜，运行温度比我的 3090 涡轮版更低。而且它们比涡轮版更安静。A5000 也是工作站显卡，我在生产中更信任它们而不是我的 RTX 卡。”

在能耗方面，有人询问该装置在运行和闲置时的功率消耗，作者表示会进一步检查并提供准确数据。

讨论中的共识在于大家对作者构建的这一装置表现出了浓厚的兴趣，并对作者的努力和分享给予了肯定。特别有见地的观点是关于不同显卡的性能和特点的分析，以及在构建过程中如何平衡成本和性能的思考，这些观点丰富了讨论，为其他有类似需求的用户提供了宝贵的参考。