原贴链接

我一直在进行系统配置实验以优化DeepSeek R1的部署，重点在于提高吞吐量和响应时间。通过微调GPU互联内存管理（GIMM），我取得了显著的性能提升：吞吐量增加为每秒30 - 40个标记；启用缓存时，对于20个并发的10k提示请求，每秒可达90个标记。系统规格方面，CPU为2个AMD EPYC 9664（每个96核/192线程），内存约2TB，GPU为8个AMD Instinct MI300X（通过无限结构连接）。GPU分析链接：https://github.com/ShivamB25/analysis/blob/main/README.md。想问下大家是否想让我部署其他模型或者公开端点？我愿意运行一个月。

讨论总结

原帖作者分享了AMD系统部署DeepSeek R1时的优化成果，包括吞吐量等性能提升。评论内容多样，有人询问系统价格并与英伟达系统比较，有人提出技术相关话题如推测解码、vLLM测试等，还有人对性能测试中的数据准确性提出疑问，以及涉及硬件折扣、GPU更新等方面的讨论，整体氛围积极且充满技术交流的氛围。

主要观点

  1. 👍 对原帖展示系统表示惊叹并询问价格
    • 支持理由：原帖系统配置高端，人们对其成本感兴趣。
    • 反对声音：无。
  2. 🔥 认为该系统比类似英伟达设置便宜很多
    • 正方观点：从原帖系统的配置和性能看性价比高。
    • 反方观点：无。
  3. 💡 指出在AMD设备上进行LLM推理具有较好的性价比
    • 解释：原帖系统采用AMD设备，在LLM推理方面表现不错。
  4. 💡 建议帖子作者进行vLLM测试
    • 解释：vLLM在相关领域有重要性，想看到其在该系统下的表现。
  5. 💡 询问更高并发测试的性能指标
    • 解释：想要更全面了解系统在高并发下的性能。

金句与有趣评论

  1. “😂 除了这个非常令人印象深刻的系统，你能告诉我们买这样一套系统要花多少钱吗?”
    • 亮点：直接表达对系统的惊叹并引出价格话题。
  2. “🤔 大致来说，整个设置将花费近15 - 20万美元。”
    • 亮点：给出系统价格范围，解答了大家的疑问。
  3. “👀 这确实比类似的英伟达设置便宜得多!”
    • 亮点：通过与英伟达对比，突出AMD系统的性价比。
  4. “😂 用这笔钱我就可以退休了(我才二十多岁，假设我能再活几百年)。”
    • 亮点：幽默调侃系统的价格。
  5. “🤔 这对LLM推理很有好处，而且等效设置比英伟达便宜。”
    • 亮点：再次强调AMD系统在LLM推理方面的性价比。

情感分析

总体情感倾向是积极的。主要分歧点较少，只是在性能测试的数据准确性上有短暂的争议，可能是因为原帖作者的笔误。大部分评论者对原帖作者的系统配置成果表示认可，或围绕成果展开建设性的讨论。

趋势与预测

  • 新兴话题：可能会有更多关于AMD系统性能优化的技术讨论，如BIOS调优等。
  • 潜在影响：对AMD系统在LLM推理及其他相关领域的应用推广可能有积极影响，也可能促使更多公司考虑AMD设备在类似场景下的性价比优势。

详细内容：

标题：AMD mi300x 部署与测试引发的热门讨论

最近，一则关于 AMD mi300x 部署和测试的帖子在 Reddit 上引起了广泛关注。该帖作者分享了自己通过优化系统配置，特别是微调 GIMM（GPU 互连内存管理），在性能方面取得的显著提升，包括吞吐量增加至每秒 30 - 40 个令牌，在使用缓存时，对于 20 个并发的 10k 提示请求，吞吐量甚至高达每秒 90 个令牌。同时还列出了系统的详细规格，如拥有 2 个 AMD EPYC 9664 CPU（每个 96 核/192 线程）、约 2TB 的内存以及 8 个通过 Infinity Fabric 连接的 AMD Instinct MI300X GPU。此外，还提供了关于 GPU 分析的链接：https://github.com/ShivamB25/analysis/blob/main/README.md。帖子最后询问大家是否希望其部署其他模型或公开端点，并表示愿意运行一个月。此帖获得了众多点赞和大量评论，引发了热烈的讨论。

讨论的焦点主要集中在以下几个方面： 首先，关于成本方面，有人认为与类似的 Nvidia 配置相比，AMD mi300x 要便宜得多。比如有人说道：“这确实比类似的 Nvidia 配置便宜很多！希望它能尽快成熟！”还有人表示：“我的估计是不到 13 万美元，与同等的 Nvidia 服务器相比，真的很便宜。”但也有人指出了 AMD 存在的一些不足，比如“是的。这对于 llm 推理很好，而与 h200 相当的配置要花费 50 万美元（8 个 h200）。如果能在 AMD 上进行高质量的推理，成本效益会更好。只是阻碍的因素在于它们的通信，比如 gpu 2 到 gpu 6 仅为 50GBps，而 gpu 2 到 gpu 3 则是 2TBps。”

其次，有人提出了有趣的想法，比如“用这笔钱我都可以退休了（我才二十几岁，假设我能活几百年）。没有嫉妒，只是说说。钱是一种很多人都不理解的福气。祝你有美好的一天，我的朋友。”

此外，还有关于购买渠道、性能测试以及硬件更新周期等方面的讨论。有人询问在哪里能以这样的价格购买，有人期待看到更多的性能测试结果，还有人关心公司多久会用新硬件替换这些 GPU，以便消费者能以更便宜的价格购买到二手产品。

在讨论中，大家达成的共识是 AMD mi300x 在成本方面具有一定优势，但也存在一些需要改进和优化的地方。一些独特的观点，如关于成本效益的分析以及有趣的设想，丰富了讨论的内容，让大家对 AMD mi300x 有了更全面的认识。

总之，这次关于 AMD mi300x 部署和测试的讨论，充分展现了大家对新技术的关注和思考，也为相关领域的发展提供了有价值的参考。