原贴链接

经过今年大部分时间的思考，我终于组装了一台专用的基于AMD的AI服务器。我最初计划只是拿一对MI100显卡，然后把它们插到我的一台旧游戏电脑里，但由于一系列硬件问题（PCIe通道和代数、APU启动问题等），我最终还是购买了一些新的部件。目前，它有：

• CPU: AMD Ryzen 7 5700X
• 内存: Crucial Pro 64GB DDR4-3200
• 显卡: 2x AMD Instinct MI100（总共64GB显存）和1x Powercolor AMD Radeon R7 240（便宜的2GB显卡，纯粹用于显示；主板拒绝在没有它的情况下启动。）
• 主板: Asrock X570 Tachi（支持x8/x8/x4 PCIe Gen4）
• 电源: EVGA Supernova G2 750W
• 软件: Ubuntu 20.04, ROCm 6.2.1, Open WebUI, llama.cpp

我已经运行了大约一周，虽然我还在完善它（例如需要安装SD WebUI并找到导入旧Textgen-WebUI聊天记录的方法），但到目前为止它是一台坚固的机器。尽管我总是听到关于ROCm的恐怖故事，但通过阅读手册（RTFM）来让显卡工作非常简单。以下是一些基准测试：

我正在考虑增加一些模型的量化级别，主要是为了挤入一些额外的上下文，特别是对于70B模型。热量也是一个问题，尽管我用电工胶带固定了风扇，但显卡在长时间生成过程中仍会开始热节流，尽管它们冷却得足够快。我尝试用rocm-smi削减功率上限，但它不允许我将其设置在290以下的基本上限。无论如何，我对它很满意。

讨论总结

本次讨论主要围绕一台配备两块AMD Instinct MI100 GPU的高性能AI服务器展开。讨论内容涵盖了硬件配置、性能测试、散热问题、软件选择以及与NVIDIA显卡的对比。参与者对AMD显卡在VRAM和功耗方面的优势表示认可，同时也探讨了性价比更高的替代方案，如AMD Mi60显卡。讨论中还涉及了具体的散热解决方案和软件工具的选择，展示了高性能计算在实际应用中的复杂性和多样性。

主要观点

1. 👍 AMD显卡在VRAM和功耗方面具有优势

   • 支持理由：适合高性能计算需求，最大化每个插槽的VRAM，同时考虑成本和功耗。
   • 反对声音：NVIDIA RTX 3090显卡虽然性能强大，但在VRAM和功耗方面不如AMD显卡。

2. 🔥 AMD Mi60显卡性价比高

   • 正方观点：拥有32GB VRAM，价格约为300美元，可以购买四张，总价为1200美元，仍然可以节省费用。
   • 反方观点：性能可能不如MI100，但适合预算有限的用户。

3. 💡 散热问题是性能瓶颈

   • 解释：散热不足导致温度过高，影响性能表现，需要改进散热解决方案。

4. 👀 软件工具选择

   • 解释：讨论了使用llama.cpp而非Ollama，以及textgenwebui v1.10版本的使用情况。

5. 🌡️ 风扇控制与温度管理

   • 解释：使用CPU温度作为代理，根据CPU温度调整风扇速度，低于35°C时为50%，高于35°C时为100%。

金句与有趣评论

1. “😂 Nice rig! Interesting to see someone running MI100s and some inference speeds using them”

   • 亮点：对高性能AMD AI服务器的配置表示赞赏，并对使用MI100显卡的性能表现表示肯定。

2. “🤔 Have you considered AMD Mi60 which also has 32GB VRAM but around $300?”

   • 亮点：提出性价比更高的替代方案，建议考虑使用Mi60显卡。

3. “👀 Are you using ollama? Nope, llama.cpp”

   • 亮点：简洁明了的软件工具选择讨论。

4. “🌡️ Funny story. I ordered a 3D printed shroud and fan kit specifically designed for this on eBay, but it made the cards too long to fit in the case, so I just resorted to taping the fans at the front of the cards with a ton of electrical tape.”

   • 亮点：分享了有趣的散热解决方案，展示了硬件改装的创意。

5. “🔧 Am i right to think that if you used a Ryzen 5700G instead of the 5700X, the 3rd graphics card wouldn’t have been needed?”

   • 亮点：提出替代方案，探讨硬件配置的灵活性。

情感分析

讨论的总体情感倾向较为积极，参与者对高性能计算和AI服务器的配置表示赞赏，并对AMD显卡的性能和性价比表示肯定。主要分歧点在于硬件配置的选择和散热问题的解决方案，部分参与者提出了性价比更高的替代方案，如AMD Mi60显卡。讨论中还涉及了软件工具的选择和具体的散热解决方案，展示了高性能计算在实际应用中的复杂性和多样性。

趋势与预测

• 新兴话题：可能引发后续讨论的新观点包括性价比更高的显卡选择、散热问题的创新解决方案以及软件工具的优化。
• 潜在影响：对高性能计算和AI服务器的讨论可能会影响相关领域的硬件配置和软件选择，推动技术创新和成本优化。

详细内容：

标题：64GB VRAM 双 MI100 服务器引发的热议

在 Reddit 上，一则关于 64GB VRAM 双 MI100 服务器的帖子引起了众多网友的关注。该帖子不仅展示了电脑机箱的内部硬件配置和设计，还详细介绍了其搭建过程和相关性能测试。此帖获得了大量点赞和众多评论。

帖子中，作者经过深思熟虑，终于组建了这台基于 AMD 的 AI 服务器。配置包括 AMD Ryzen 7 5700X CPU、Crucial Pro 64GB DDR4-3200 内存、2 张 AMD Instinct MI100 显卡等，并运行了 Ubuntu 20.04 等软件。同时，作者还分享了一些性能测试数据。

讨论焦点主要集中在以下几个方面： 有人称赞这台服务器配置出色，也有人询问 MI100 显卡的价格。有用户分享道：“我在 ebay 上以每张 850 美元的价格购得，它们价格通常在 800 美元左右波动，我曾见过低至 750 美元的。”

对于硬件选择，有人提出疑问，比如为什么选择 AMD 显卡。有用户解释道：“首先，我想最大化每个插槽的 VRAM；当只需多支付 200 美元就能获得 33%更多的 VRAM 时，我认为是值得的。空间和电源也是考虑因素，我的电源已经为 2 张 290W 显卡供电，即便升级，也不想处理转接卡，因为最后一个插槽是单插槽。”

还有用户提到了 AMD 不同型号显卡的对比，如是否考虑 AMD Mi60，以及其与 MI100 的优劣。有人认为 Mi60 性价比更高，也有人因为支持和稳定性等因素选择了 MI100。

关于散热和操作系统等方面，大家也展开了热烈讨论。有人分享了自己独特的散热解决方案，还有人交流了不同操作系统和驱动的使用体验。

总的来说，这一话题引发了大家对于高性能计算硬件选择、搭建过程中的问题解决以及性能优化等方面的深入探讨。但关于如何进一步提升性能、优化配置等问题，仍有待更多的实践和交流。